規範と参照が衝突する場所：規範的推論におけるLLMの評価

TL;DR（結論）

ロボットなどのエージェントが人間と円滑に意思疎通を図るためには、物理的および社会的な文脈に基づいた「社会規範」を理解し、曖昧な指示から意図された対象物を特定する能力（NBRR）が不可欠であるが、現在のLLMがこの能力をどの程度備えているかは不明であった。 本研究では、掃除や配膳といった日常的なタスクにおける物理的な規範を評価するための診断用テストベッド「SNIC」を構築し、人間による検証済みのシナリオから拡張した9,000件のデータを用いて、最新の大規模言語モデルが暗黙的または衝突する規範をどの程度推論できるかを包括的に調査した。 検証の結果、GPT-4o-miniやLlama-3などの強力なモデルであっても、規範が暗黙的であったり複数の規範が衝突したりする状況では一貫した推論が困難であり、物理的な状況に根ざした社会規範の適用能力において重大な「死角」があることが明らかになった。

なぜこの問題か

対話処理における参照解決は、言語を現実世界のエンティティに結びつけることで自然言語理解に寄与する極めて重要な側面である。しかし、このプロセスは常に単純なわけではなく、言語情報だけでは十分に達成できない場合が多い。特に、物理的な環境や社会的な役割によって活性化される社会規範が含まれる状況下では、文脈の中での言語解釈が求められる。先行研究では、言語とは無関係に社会規範が参照対象の解釈に影響を与えることが示されている。例えば、共同キッチンで「マグカップを渡して」と頼まれた際、近くに清潔なカップが1つと飲み残しの入った汚れたカップが2つあるとする。追加の言語的な手がかりがなければこの要求は曖昧に見えるが、文脈を考慮すれば、意図された対象は清潔なカップである可能性が高い。これは、人は通常、自分のものではない汚れたカップや使用済みのアイテムを使って飲み物を飲まないという規範が働いているからである。 このように、社会規範は行動を調整するために人々が依存する共有された期待として機能し、参照の曖昧さを解消するための「社会的な文法」のような役割を果たす。…

核心：何を提案したのか

本研究では、日常的な文脈において参照解釈を導く規範的な社会規範を表現するために設計された、人間による検証済みの診断用テストベッド「SNIC（Situated Norms in Context）」を提案した。既存の規範データセットの多くは、抽象的な道徳的判断や社会的なエチケットに焦点を当てているが、SNICは人間やエージェントが実際に関与する可能性が高い、掃除、片付け、配膳といった現実世界のタスクに埋め込まれた物理的な規範を強調している。このテストベッドの目的は、単に言語的に正しい答えを強制することではなく、複数の解釈が実用的に可能なままであっても、モデルが規範に基づいた参照対象を一貫して選択できるかどうかを調査することにある。…

続きはログイン/プランで閲覧できます。