統計的保証付きLLM性能評価の効率化：FAQ手法の提案

要約

大規模言語モデル（LLM）の評価には多大なコストがかかりますが、本研究では限られたクエリ予算内でモデル精度を高精度に推定する新手法「Factorized Active Querying (FAQ)」を提案しました。FAQは履歴データの活用と適応的な質問選択により、ベースラインと比較して最大5倍の効率化を実現し、少ないクエリ数で信頼性の高い評価を可能にします。

全文は有料プランで閲覧できます。