報酬モデルは事前学習から価値バイアスを継承する
報酬モデル（RM）は、大規模言語モデル（LLM）を人間の価値観に合わせる「アライメント」の中核を担うが、初期化に使用される事前学習済みモデルから心理的なバイアスを直接継承していることが判明した。
Cog AI Archive
最新の記事
Floresが間違ってBloomzするとき：機械翻訳評価における言語方向間の汚染
大規模言語モデル（LLM）の評価において、学習データにテストセットが混入する「データ汚染」が深刻な問題となっており、特に多言語翻訳では、ある言語方向の学習が未学習の言語方向にまで影響を及ぼす「方向間汚染」が発生していることが明らかになった。
進化戦略はLLMにおける破滅的忘却を引き起こす
進化戦略（ES）は、従来の勾配ベースの手法であるGRPOと比較して、数学や推論タスクにおいて同等の性能を達成しつつ、メモリ消費を大幅に抑えられる可能性を秘めています。 しかし、本研究の分析により、ESを用いた学習はモデルが既に持っていた既存の知識を急速に失わせる「破滅的忘却」を引き起こし、特定のタスクに特化する一方で汎用性が著しく低下することが判明しました。 この忘却の原因は、ESによるパラメータ更新がGRPOに比べて1000倍も大きなノルムを持ち、かつモデル全体にわたる高密度な変更を加えることで、既存の知識構造を破壊してしまう点にあると結論付けられています。
画像は言葉よりも雄弁か？VLMにおけるテキスト誤情報の影響に関する調査
視覚と言語を統合して処理するモデル（VLM）が、画像の内容と真っ向から矛盾する誤ったテキスト情報に対してどの程度の耐性を持っているかを調査するため、新しいデータセットであるCONTEXT-VQAを構築しました。
トランスフォーマーはどのようにトークンを関連付けるのか：勾配の主要項がもたらす機械論的解釈可能性
本研究は、自己注意機構を持つトランスフォーマーが訓練を通じてトークン間の意味的関連性を獲得するプロセスを、勾配の主要項近似という手法を用いて理論的に解明した。重み行列は「バイグラム」「トークン互換性」「文脈」という3つの基底関数の単純な合成として閉形式で表現可能であり、これがモデルの内部構造を決定づけていることを明らかにした。実世界のデータを用いた検証により、この理論的な重みの特徴付けが実際の大規模言語モデルの挙動や学習された重みと密接に一致することが確認され、ブラックボックスとされるモデルの機械論的な基礎を提示した。
RPO-RAG：関係認識型選好最適化による知識グラフ質問応答に向けた小規模LLMのアライメント
大規模言語モデル（LLM）が知識集約的なタスクで引き起こすハルシネーションを抑制するため、知識グラフ（KG）を活用した検索拡張生成（RAG）が注目されていますが、従来のヒューリスティックな経路探索ではクエリの意図と無関係なノイズが混入し、特に推論能力の限られた70億パラメータ未満の小規模モデルが情報を適切に処理できないという課題がありました。 本研究が提案する「RPO-RAG」は、クエリと経路の意味的類似度に基づく動的なサンプリング、中間的な推論ステップである「関係」に着目した選好最適化、および回答候補ごとに証拠を整理するプロンプト設計を導入することで、小規模モデルの推論プロセスを知識グラフの構造的論理に精密に適合させることに成功しました。 WebQSPおよびCWQのベンチマークにおいて、80億パラメータ以下のモデルで最高水準の性能を達成し、特にWebQSPではF1スコアを最大8.8%向上させるなど、30億パラメータ程度の極めて小さなモデルであっても、大規模モデルに匹敵する高精度な回答と論理的な推論が可能であることを実証しました。
DiaDem：マルチモーダル大規模言語モデルのための視聴覚動画キャプション生成における対話記述の高度化
視聴覚動画キャプション生成において、従来のモデルは「誰が何を話したか」という対話の正確な記述、特に複数人による複雑なシーンでの話者特定や発話の書き起こしに大きな課題を抱えていた。 本研究では、対話記述の精度を大幅に向上させた新モデル「DiaDem」と、話者特定（REF）と発話書き起こし（ASR）の正確性を厳密に評価するための初となる専用ベンチマーク「DiaDemBench」を提案した。 高品質な合成データを用いた教師あり微調整（SFT）と、難易度別に分割された二段階のGRPO戦略を組み合わせることで、DiaDemは対話記述の正確性においてGeminiシリーズを上回る性能を達成し、一般的なキャプション生成能力も高い水準で維持している。
推論に重要なニューロンの特定と転移：アクティベーションステアリングによるLLM推論の信頼性向上
大規模言語モデル（LLM）の内部には、推論の正誤と強く相関する「推論重要ニューロン（RCN）」が少数存在することを発見し、これを利用した軽量な介入フレームワーク「AdaRAS」を提案しました。 この手法は、正解と不正解の推論軌跡における活性化パターンの差からRCNを特定し、推論の失敗が予測される場合にのみ適応的にニューロンの活性化を調整することで、追加学習なしで推論の信頼性を向上させます。 数学やコード生成の10個のベンチマークで一貫した性能向上を確認し、特に難易度の高いAIME-24およびAIME-25では13%以上の精度向上を達成するとともに、異なるデータセットやモデル間での高い転移性も示しました。
リドル・クエスト：言葉の謎
本研究は、類推に基づくなぞなぞを自動生成し、大規模言語モデルの推論能力や曖昧さの処理能力を多角的に評価するための新しいパイプライン「リドル・クエスト」を提案している。 システムは対象概念を構造化データとして捉え、属性分類を経て五つの多様なスタイルで問題を生成するが、検証の結果、最新の言語モデルであっても比喩的表現における正解の網羅的な特定には大きな課題があることが判明した。 なぞなぞは、人工知能の抽象化能力や多段階の推論を測定するための軽量かつ有効なマイクロベンチマークとして機能し、単なる正誤判定を超えてモデルが持つ知識の広がりと解釈の深さを定量的に評価する重要なツールとなる。
DART：高速なLLM推論のための拡散モデルに着想を得た投機的デコーディング
DARTは、拡散モデルの並列生成能力を投機的デコーディングに導入することで、従来のドラフトモデルが抱えていた自己回帰的な逐次処理による遅延を根本から解消する新しい推論加速フレームワークです。 ターゲットモデルの中間状態を再利用する極めて軽量な設計と、単一のフォワードパスで複数の未来トークンを同時に予測する仕組みにより、ドラフト作成時間を大幅に短縮しつつ、ターゲットモデルとの高い整合性を維持することに成功しました。 実験では、標準的な推論に対して最大3.44倍の高速化を達成し、既存の最先端手法であるEAGLE3を平均で30%上回る圧倒的なパフォーマンスを実証しており、大規模言語モデルの推論効率を実用的なレベルで新たな次元へと引き上げます。