テスト時の強化学習における分布を考慮した報酬推定手法「DARE」

要約

大規模言語モデル（LLM）のテスト時強化学習（TTRL）において、従来の多数決による報酬推定の脆弱性を指摘し、新たな手法「DARE」を提案した研究である。DAREは単一の結果ではなく生成分布全体から報酬を推定し、探索ボーナスや枝刈りを組み合わせることで、AIME 2024などの推論タスクで大幅な性能向上を達成した。

全文は有料プランで閲覧できます。