RAG-E: 検索器と生成器の整合性を定量化する説明可能性フレームワーク

TL;DR（結論）

RAG-Eは、検索拡張生成（RAG）における検索器と生成器の相互作用を数学的に定量化し、システム全体の透明性を向上させるエンドツーエンドの説明可能性フレームワークである。検索器にはIntegrated Gradientsを、生成器にはモンテカルロ法で安定化させたPMCSHAPを適用し、情報の流れを可視化するとともに、検索順位と実際の利用度の乖離を測定する新指標「WARG」を導入した。実証分析の結果、生成器が上位文書を無視したり下位文書に過度に依存したりする深刻な不整合が最大66.7%の割合で確認され、RAGの品質は個々の性能ではなく両者の「整合性」に依存することが判明した。このフレームワークにより、医療や法律といった高い信頼性が求められる分野において、モデルがどの情報を根拠に回答したかを詳細に監査することが可能となり、計算コストの削減やプロンプト設計の最適化に寄与する。

なぜこの問題か

検索拡張生成（RAG）は、大規模言語モデル（LLM）の回答を外部から検索された文書に基づいて根拠付けることで、モデル特有の不透明さやハルシネーション（もっともらしい嘘）を軽減するための標準的な手法となっている。しかし、検索器（Retriever）と生成器（Generator）という二つの異なるコンポーネントがどのように相互作用しているかについては、依然としてブラックボックスな部分が多い。特に医療や法律といった高い信頼性が求められるドメインにおいて、この不透明さはシステムの導入を阻む大きな課題となっている。従来のRAG研究の多くは、検索器の性能向上や生成器の回答精度の改善など、個別のコンポーネントの最適化に焦点を当ててきた。また、説明可能性に関する既存の手法も、検索器のみ、あるいは生成器のみを対象としたものがほとんどであり、システム全体を通じて情報がどのように流れ、最終的な回答に寄与しているかを統合的に評価する手段が欠けていた。例えば、検索器が非常に高い精度で関連文書を上位にランク付けしたとしても、生成器がその情報を無視してしまえば、システム全体としての信頼性は損なわれる。…

核心：何を提案したのか

本研究では、RAGシステム全体の整合性を定量化するためのエンドツーエンドの監査フレームワーク「RAG-E」を提案している。このフレームワークは、主に三つの革新的な要素で構成されている。第一に、RAGの特性に最適化された属性付与手法の導入である。検索器に対しては、密なベクトル表現を用いるエンコーダーモデルに適したIntegrated Gradients（IG）を適用し、生成器に対しては、自己回帰的な生成プロセスにおける不安定さを解消した新しい手法「PMCSHAP」を提案した。…

続きはログイン/プランで閲覧できます。