オーバースケーリングの呪いを打破する：並列思考の前に並列度を思考する

要約

LLMの推論能力を向上させる「並列思考」において、全問題に一律の並列度を割り当てることで生じる予算の冗長性「オーバースケーリングの呪い」を定義しました。この問題を解決するため、デコード前に各サンプルに最適な並列度を推定する軽量手法「T2」を提案しています。実験により、性能を維持しつつ計算コストを大幅に削減できることが示されました。

全文は有料プランで閲覧できます。