RAG-E: 検索器と生成器の整合性を定量化する説明可能性フレームワーク

要約

RAG-Eは、RAGシステムにおける検索器と生成器の相互作用を定量化する説明可能性フレームワークです。数学的根拠に基づく属性手法を用いて、生成器が検索結果をどの程度活用しているかを測定する指標WARGを導入しました。分析の結果、多くのケースで生成器が上位文書を無視するなどの不整合が明らかになりました。

全文は有料プランで閲覧できます。