GeoRC: 地理的位置推定における推論過程を評価するベンチマーク

要約

視覚言語モデルは地理的位置の特定に優れる一方、その根拠となる推論過程で虚偽の情報を生成する課題があります。本研究は、GeoGuessrの世界王者らと協力し、500件の場面に対し800件の専門的な推論過程を含むベンチマーク「GeoRC」を構築しました。評価の結果、最新モデルでも人間のような正確な根拠説明には至っていないことが判明しました。

全文は有料プランで閲覧できます。