HE-SNR：エントロピーで潜在的な論理を解明し、SWE-benchでの中間学習（Mid-Training）を導く

要約

SWE-benchなどの複雑なソフトウェア工学タスク向けLLMの中間学習において、従来のPerplexity（PPL）に代わる新指標「HE-SNR」を提案した研究です。単なる正解予測ではなく「合理的な迷い」をエントロピー圧縮状態として捉える仮説に基づき設計され、産業規模のMoEモデルで高い予測性能と堅牢性が実証されました。

全文は有料プランで閲覧できます。