オーバースケーリングの呪いを打破する：並列的思考の前に並列性を考える

要約

LLMの推論において、全サンプルに一律の大規模な並列処理を適用すると、簡単な問題でも過剰な計算資源を消費する「オーバースケーリングの呪い」が発生する。本研究はこの問題を定式化し、デコード前に各サンプルに最適な並列度を推定する軽量な手法「T2」を提案した。これにより、精度を維持しつつ計算コストを大幅に削減できる。

全文は有料プランで閲覧できます。