ProGraph-R1：グラフ検索拡張生成のための進捗を考慮した強化学習

TL;DR（結論）

大規模言語モデルが知識集約的なタスクで起こすハルシネーションを抑制するため、グラフ構造のつながりと推論の進捗状況を同時に考慮する新しい強化学習フレームワーク「ProGraph-R1」が開発されました。 従来のグラフ検索拡張生成（GraphRAG）が抱えていた、意味的な類似性のみに依存する検索手法と、最終結果のみを評価する疎な報酬設計という課題を解決するため、構造認識型の検索モジュールとステップ単位の密な報酬設計を導入しています。 複数の多ホップ質問回答ベンチマークにおいて、既存のGraphRAGや強化学習ベースのベースラインを安定して上回る性能を記録し、特に複雑な推論を必要とする問題で高い正確性と生成品質を実現することが確認されました。

なぜこの問題か

大規模言語モデル（LLM）は、自然言語処理の幅広い分野で優れた性能を発揮していますが、知識集約的な設定においては、もっともらしく見えるが事実とは異なる情報を生成する「ハルシネーション」という現象を起こしやすいという課題があります。この問題を解決するために、外部の知識源から情報を取得して入力を補強する検索拡張生成（RAG）が広く利用されてきましたが、従来の多くの手法はテキストの断片をチャンク単位で取得するにとどまっていました。このような手法では、エンティティ間やドキュメント間に存在する複雑な関係構造を見落としてしまうという欠点があります。 この欠点を補うために、知識をエンティティと関係のグラフとして整理するGraphRAGが登場し、より構造的な検索と多段階の推論が可能になりました。さらに最近では、DeepSeek-R1などの成功に触発され、強化学習を用いてエージェント型のGraphRAGを訓練し、外部知識との対話的なやり取りを最適化する試みも始まっています。しかし、既存の強化学習ベースのGraphRAGフレームワークには、解決すべき2つの大きな限界が存在していました。…

核心：何を提案したのか

本研究では、多段階のグラフ検索と推論を強化するための進捗認識型エージェントフレームワーク「ProGraph-R1」を提案しています。このフレームワークは、従来の課題を解決するために、検索メカニズムと学習アルゴリズムの両面に革新的な設計を取り入れています。具体的には、意味的な関連性とグラフの接続性を同時に考慮する「構造認識型ハイパーグラフ検索メカニズム」を導入しました。これにより、多ホップの推論パスに沿った一貫性のあるグラフ探索が可能になります。 また、学習面では「進捗ベースのステップ単位方策最適化」を設計しました。これは、最終的な結果だけでなく、グラフ内での中間的な推論の進捗状況に応じて報酬を調整し、密な学習信号を提供するものです。この設計により、多段階の検索プロセスにおける各アクションの貢献度をより正確に評価し、効果的な探索を促進することが可能になります。…

続きはログイン/プランで閲覧できます。