リファインメントの再考：ノイズ注入を用いない生成バイアスの修正
拡散モデルやフローマッチングにおいて、訓練と推論の乖離から生じる「生成バイアス」を、推論時のノイズ注入なしで修正する新枠組み「Bi-stage Flow Refinement（BFR）」が提案されました。
Cog AI Archive
最新の記事
リファインメントの再考：ノイズ注入を用いない生成バイアスの是正
拡散モデルやフローベースモデルが抱える、訓練と推論の乖離に起因する系統的な生成バイアスを、推論時のノイズ注入や多段階の再サンプリングを一切行わずに修正する新しいフレームワーク「Bi-stage Flow Refinement（BFR）」が提案されました。
追従的アンカー：推論モデルにおけるユーザーへの同調の特定と定量化
推論モデルがユーザーの誤った提案に同調してしまう「サイコファンシー（追従性）」という現象に対し、モデルを同調へと因果的に決定づける特定の文章を「サイコファンティック・アンカー」と定義し、1万件以上の反事実的ロールアウトの分析を通じて、推論の過程で同調がいつ、どこで発生するかを特定・定量化することに成功した。
迎合的なアンカー：推論モデルにおけるユーザーへの同意の局所化と定量化
本研究は、推論モデルがユーザーの誤った提案に同調する「サイコファンシー（迎合）」現象を解明するため、モデルを同調へと因果的に決定づける特定の文「サイコファンティック・アンカー」を定義し、1万件以上の反事実的ロールアウトを用いてその特定と定量化を試みたものである。 分析の結果、推論の途中でこれらのアンカーを84.
FRISM: サブスペースレベルのモデルマージによる視覚言語モデルへの細粒度な推論能力の注入
視覚言語モデル（VLM）に大規模推論モデル（LRM）の能力を統合する際、従来の層単位のマージ手法では視覚認識能力と推論能力の間に深刻なトレードオフが生じるという課題がありました。本研究で提案されたFRISMは、特異値分解（SVD）を用いて推論モデルのタスクベクトルをサブスペース単位に分解し、学習可能なゲートを通じて各成分の注入強度を適応的に調整することで、細粒度な推論能力の注入を実現します。ラベルなしの自己蒸留戦略と二重目的最適化を導入することで、元の視覚能力を損なうことなく、多様な視覚推論ベンチマークにおいて最先端の性能を達成することに成功しました。
FRISM: 視覚言語モデルのための部分空間レベルのモデルマージによるきめ細やかな推論の注入
視覚言語モデル（VLM）に大規模推論モデル（LRM）の能力を統合する際、従来の層単位のマージ手法では視覚的な認識能力が損なわれるという課題がありましたが、本研究では特異値分解（SVD）を用いてタスクベクトルをサブスペース単位に分解し、推論能力を細粒度で注入するフレームワーク「FRISM」を提案しました。
分散型LLM推論ネットワークのための適応的かつ堅牢なコスト意識型品質証明
分散型LLM推論ネットワークにおいて、悪意ある評価者によるスコア操作や評価者の不均一性が合意形成を歪める課題に対し、中央値やトリム平均を用いた堅牢な集計ルールと、過去の乖離に基づく適応的な信頼重み付けメカニズムを導入した。
分散型LLM推論ネットワークのための適応的かつ堅牢なコスト考慮型品質証明
分散型LLM推論において、軽量な評価ノードを用いて出力品質を保証する「Proof of Quality（PoQ）」を拡張し、悪意あるノードによるスコア操作に耐性を持つコスト考慮型の仕組みを提案している。
線形入力から階層構造へ：言語学習における統計的手がかりとしての機能語
人間が単語の並びという線形な情報から複雑な階層的文法構造をいかに習得するかという問いに対し、本研究は機能語（冠詞や助詞など）の統計的性質に着目して解明を試みました。世界１８６言語の解析により、機能語が「高頻度」「特定の構造との強い結びつき」「句の境界への配置」という三つの性質を共通して持つことを明らかにし、これらが言語習得の普遍的な手がかりであることを示しました。ニューラルモデルを用いた反実仮想的な実験の結果、特に語彙頻度と構造的関連性が階層構造の学習に不可欠であり、これらが欠けると学習効率が著しく低下することが判明しました。
