内容に引きずられない推論へ：LLMの「抽象アクティベーション空間」という発想

TL;DR（結論）

• 狙いは、三段論法のような形式推論を、語の意味的もっともらしさに引っ張られず評価できるようにすることです。
• そのために、抽象入力で得られる内部表現を「抽象アクティベーション空間」として定義し、内容つき入力の推論中にその空間へ表現を寄せる介入を行います。
• 結果として、Chain-of-Thought より bias-penalised accuracy で強く、SFT と比べても重みを変えずに内容依存の推論バイアスを抑えられる可能性を示しています。

なぜこの問題か

LLMは推論が得意になった、と言われることが増えました。けれど三段論法のような「形式」が露骨に問われる場面では、妙なつまずき方をします。論文が焦点を当てるのは、semantic plausibility（意味的もっともらしさ）と formal validity（形式的妥当性）を混同する傾向です。 ここで厄介なのは、この混同が単なる“うっかり”ではなく、一定の方向に体系的に出てしまう偏りとして扱われている点で、だからこそ対策も「たまたま当てる」より「干渉を減らす」方向に寄っていきます。

核心：何を提案したのか

論文が提案する狙いは明確です。形式的な演繹を、語の意味内容にできるだけ左右されないものにする。そのために、推論を「内容」から切り離して扱うための枠組みを導入します。 最近の流れとして推論時の制約を増やす試み（抽象的な中間表現を促す、あるいは内部計算へ直接介入する）がある一方で、意味的干渉を安定して抑えるのはまだ難しい、という問題意識がこの提案の背骨になっています。

続きはログイン/プランで閲覧できます。