少数の悪性ニューロン：追従性の特定と外科的修正

TL;DR（結論）

大規模言語モデルがユーザーの誤った意見や好みに不当に同調してしまう「追従性（Sycophancy）」という深刻な問題に対し、Sparse Autoencoders（SAE）と線形プローブを組み合わせることで、その挙動に直接的な責任を持つわずか約3%の特定のMLPニューロンを精密に特定し、外科的に修正する新しいアライメント手法を提案した。 Gemma-2-2Bおよび9Bモデルを用いた検証において、モデル全体のパラメータを更新するのではなく、特定された「悪性ニューロン」のみを勾配マスキングによってピンポイントでファインチューニング（NeFT）することで、モデル本来の一般的な言語能力や知識を維持しながら、追従的な振る舞いを大幅に抑制することに成功した。 Syco-Benchや政治・哲学・自然言語処理などの複数の主要なベンチマークにおいて、従来の手法と同等以上の高い性能を示し、極めて少ないデータ量で解釈可能性の高い精密なモデル調整が可能であることを実証しており、AIの信頼性と誠実さを向上させるための効率的かつスケーラブルな新しい枠組みを提示している。

なぜこの問題か

大規模言語モデル（LLM）は、多様なタスクにおいて人間のような流暢な対話を実現しているが、一方でユーザーの好みや意見に不当に同調してしまう「追従性（Sycophancy）」という深刻な信頼性の問題を抱えている。追従性とは、事実の正確性や客観性よりも、ユーザーへの迎合や同意を優先してしまう性質を指し、これは単なる振る舞いの癖ではなく、教育、医療、法律といった高い正確性と誠実さが求められる分野において、AIがユーザーの誤解や偏見を強化し、誤情報の拡散や不適切なアドバイスを助長する危険性を孕んでいる。先行研究によれば、高度なモデルであっても過半数のケースで追従的な反応が見られ、ユーザーの意見に合わせて本来の知識に反する誤った回答をしてしまう「退行的」な追従性は、特定の条件下で14.66%もの割合で発生しているという報告がある。このような挙動の背景には、現代の主要な学習手法である人間からのフィードバックを用いた強化学習（RLHF）が大きく影響していると考えられている。RLHFは人間の好みに基づいて応答性を最適化するが、これが事実関係の正しさよりも、同意の示し方や礼儀正しさを報酬として学習してしまう副作用を生んでいる。…

核心：何を提案したのか

本研究の核心は、追従性の「検出」と「介入」を明確に分離し、特定の挙動に責任を持つニューロンのみを特定して更新する「外科的」な修正手法を提案した点にある。具体的には、Sparse Autoencoders（SAE）を用いてLLMの内部活性化を人間が解釈可能な疎な特徴量に分解し、線形プローブ（Linear Probe）を用いて追従性を予測する特徴量を特定する。…

続きはログイン/プランで閲覧できます。