出力空間探索：凍結されたエンコーダによって定義された出力空間におけるLLM生成の標的化
本研究は、大規模言語モデル（LLM）の生成を、トークンの逐次選択から3次元の出力空間（Z空間）における終点探索へと転換する「OS-Search」を提案した。 凍結されたエンコーダと強化学習（GRPO）を組み合わせることで、指定された座標ターゲット（$z^*$）に基づき、目標地点に近い出力を直接生成する制御を可能にした。
Cog AI Archive
最新の記事
出力空間探索：凍結されたエンコーダによって定義された出力空間におけるLLM生成の標的化
OS-Searchは、LLMの生成プロセスを従来のトークン単位の探索から、固定されたエンコーダが定義する3次元の出力空間（Z空間）における終点探索へと転換する革新的な手法である。 外部ループがターゲット座標を選択し、強化学習で訓練されたポリシーがその近傍に着地する出力を生成することで、パス依存のない並列スイープやブラックボックス最適化を可能にする。 物語生成では従来のプロンプトチェイニングと比較して3.1倍の多様性を実現し、コード生成ではベイズ最適化を用いることで、モデルが学習時に知らなかった外部評価指標のスコアを向上させることに成功した。
線形入力から階層構造へ：言語学習における統計的手がかりとしての機能語
人間が単語の並びという線形な情報から複雑な階層的文法構造をいかに習得するかという問いに対し、本研究は機能語（冠詞や助詞など）の統計的性質に着目して解明を試みました。世界１８６言語の解析により、機能語が「高頻度」「特定の構造との強い結びつき」「句の境界への配置」という三つの性質を共通して持つことを明らかにし、これらが言語習得の普遍的な手がかりであることを示しました。ニューラルモデルを用いた反実仮想的な実験の結果、特に語彙頻度と構造的関連性が階層構造の学習に不可欠であり、これらが欠けると学習効率が著しく低下することが判明しました。
推論モデルは埋め込みモデルを強化するのか？
検証可能な報酬を用いた強化学習（RLVR）で訓練された推論モデルを初期値として用いても、埋め込みモデルの性能はベースモデルと比較して統計的に有意な向上を示さない「無効果（Null Effect）」が確認された。
推論モデルは埋め込みモデルを強化するのか？
RLVR（検証可能な報酬による強化学習）で最適化された推論モデルを基盤としても、テキスト埋め込みモデルの性能はベースモデルと比較して向上しないという「ゼロ効果」が、MTEBやBRIGHTなどの主要なベンチマーク評価によって明らかになりました。
言語モデルにおけるエンベディングのスケーリングはエキスパートのスケーリングを凌駕する
大規模言語モデルの性能向上において主流であるMixture-of-Experts（MoE）は、計算効率の飽和やシステム上の通信負荷という課題に直面していますが、本研究は計算コストの極めて低いエンベディング層を拡張する「N-gram Embedding」が、特定の高スパース性条件下でエキスパートの増量よりも優れた性能対コスト比（パレート境界）を実現することを解明しました。 モデルの総パラメータの最大50%までをエンベディングに割り当て、ハッシュ衝突を回避するために語彙サイズをベース語彙の整数倍から意図的にずらすといった具体的な設計指針を提示し、これにより計算量を抑えつつモデルの表現力を大幅に強化できることを示しました。 この理論に基づき、685億パラメータを持ちながら推論時には約30億パラメータのみを活性化させる「LongCat-Flash-Lite」を開発し、同規模のMoEモデルを凌駕する性能を達成するとともに、特に複雑な推論が求められるエージェントタスクやコーディングの領域で既存のモデルに対して高い競争力を示しました。
推論ホップのスケールアップが露呈させる弱点：大規模言語モデルにおけるホップ汎化の解明と改善
大規模言語モデル（LLM）は、学習時を超える推論ステップ（ホップ数）を要求されると、必要なスキルが同一であっても性能が急激に低下する「ホップ汎化」の課題を抱えており、本研究はその失敗が特定のトークン位置における「主要エラータイプ」に集中していることを突き止めました。
パラメータ知識がすべてではない：事前学習データの検索による誠実な大規模言語モデルに向けて
大規模言語モデル（LLM）が自身の知識の境界を認識できず、事実に基づかない回答を生成する「ハルシネーション」の問題を解決するため、事前学習データにアクセス可能な公開モデル「Pythia」を活用した新しい評価ベンチマーク「TIP-TRIVIAQA」が提案されました。
MGSM-Pro: 堅牢な多言語数学的推論評価のためのシンプルな戦略
大規模言語モデルの多言語における数学的推論能力を正確に評価するため、既存のMGSMを拡張し、数値や名前の変更、無関係な文脈の挿入を施した5つのバリエーションを持つ新データセット「MGSM-Pro」を提案し、モデルが特定の数値パターンを記憶している可能性を排除した。