KG-CRAFT：自動ファクトチェック強化のためのLLMを用いた知識グラフベースの対照的推論

TL;DR（結論）

KG-CRAFTは、大規模言語モデル（LLM）と知識グラフ（KG）を融合させ、主張と証拠の間の対照的な関係を深掘りすることで自動ファクトチェックの精度を劇的に向上させる新しいフレームワークです。 主張と関連レポートから知識グラフを構築し、その構造を利用して「なぜ元の要素ではなく別の要素なのか」という対照的な質問を生成・回答することで、ノイズの多い情報から真偽判定に不可欠な核心的証拠を抽出します。 LIAR-RAWおよびRAWFCという2つの現実世界のデータセットを用いた評価において、Llama 3.3 70Bを用いた構成では既存の最高精度モデルに対してF1スコアを最大44ポイント向上させるなど、圧倒的な最先端性能を達成しました。

なぜこの問題か

デジタル変革は社会の情報消費と共有のあり方を根本的に変えましたが、同時に情報の完全性に対する深刻な課題をもたらしています。2024年のロイター研究所の報告によれば、ソーシャルメディアの普及によってニュースのエコシステムが断片化し、誤情報の拡散がかつてないほど加速している現状があります。特に選挙や公衆衛生の危機といった社会的に重要な局面において、誤情報は深刻な危害を及ぼす可能性があるため、効果的で拡張性のある自動ファクトチェック（AFC）システムの構築が急務となっています。 従来の自動ファクトチェック手法は、主にテキストの埋め込みを用いた分類モデルや証拠検索のパイプラインに依存してきましたが、これらは大規模言語モデルが持つような柔軟性や適応性に欠けていました。一方で、近年のLLMを用いた手法は外部知識の統合や検索メカニズムの導入によって進歩を遂げたものの、依然として構造化された推論メカニズムが不足しているという課題を抱えています。この欠如は、検証プロセスの信頼性を損なう原因となり、モデルが事実に基づかない回答を生成するハルシネーションのリスクを増大させます。…

核心：何を提案したのか

本研究が提案するKG-CRAFT（Knowledge Graph-based Contrastive Reasoning for Automated FacT verification）は、知識グラフを活用して対照的な推論を促進し、LLMのファクトチェック能力を強化する革新的なフレームワークです。この手法の核心は、認知科学や自然言語処理の知見に基づき、主張が単に「支持されているか」だけでなく「矛盾しているか」を明確に区別するために、対照的な質問を検証プロセスに組み込んだ点にあります。人間は説明を受ける際、単なる事実の羅列よりも「なぜAではなくBなのか」という対照的な説明を好む傾向があり、この論理を機械学習に応用することで、より堅牢で解釈性の高い検証が可能になります。 しかし、非構造化テキストのみから意味のある対照要素を生成することは容易ではありません。…

続きはログイン/プランで閲覧できます。