言語の共起統計にある「平行移動対称性」が、モデル表現の幾何を形づくる
大規模言語モデルの内部表現で、月が円環状に並ぶ、年が滑らかな一次元のまとまりになる、都市の緯度経度が線形な読み出しで復号できるといった幾何学的構造が現れる理由を、学習データ側の二語共起統計から説明する枠組みが示されています。
Cog AI Archive
最新の記事
長い文脈ほど焦点がぼけるのか：プライバシーと個人最適化で見えるLLMの「スケーリング・ギャップ」とPAPerBench
長い文脈を与えれば個人最適化が自然に良くなり、同時にプライバシーも堅牢になると期待しがちですが、本研究の評価では文脈長が伸びるほど個人最適化とプライバシーの両方で性能低下が一貫して観測されています。
意味的チャンク分割と自然言語のエントロピー：階層構造から「約1ビット/文字」を説明する試み。
印刷された英語のエントロピー率が「約1ビット/文字」と推定されるほど小さいことは、ランダムなテキストに期待される「約5ビット/文字」と比べて大きな冗長性を含むことを意味し、その理由を意味の階層構造から説明しようとしています。 / 大規模言語モデルを使って文書を意味的に一貫した塊へ再帰的に分割し、トークンを葉にもつ「意味木」を作ったうえで、最大分岐数Kだけで定まるランダムなK分木アンサンブルにより、その木が現れる確率を計算できる形にします。 / 意味木の確率から得た理論的なエントロピー率の推定は、次トークン確率から得るクロスエントロピー推定と多様なコーパスで近くなり、さらにエントロピー率は固定ではなくコーパスの意味的複雑さに応じて系統的に増えるという見通しを示します。
CM2：チェックリスト報酬でマルチターン・マルチステップのツール利用エージェントを強化学習する
現実のエージェント学習では「最終回答が正しいか」のように検証可能な報酬を用意しにくく、しかも対話の継続や提案など開放的な振る舞いを最適化したいのに、強化学習を回すための信号設計が難しい問題があります。
Webエージェントのためのエージェンティックなテスト時スケーリング
Webのマルチステップ作業では、各ステップで同じだけ候補生成を増やす一様な推論時スケーリングは、手順が長いほど効果が早く頭打ちになり、簡単な操作にも計算が偏って無駄が生じやすいです。 / 各ステップで複数の候補行動をサンプルして投票分布を作り、その分布から不確実性（エントロピーや上位二択の差）を計算して、判断が割れているときだけ追加の選別器（Arbiter）を呼び出すCATTSを提案しています。 / CATTSはWebArena-LiteとGoBrowseでReActより最大9.1%の改善を示し、さらに一様スケーリングより最大2.3倍少ないトークンで動かせる可能性を示しつつ、どのステップで計算を増やしたかを規則として説明しやすくします。
AttentionRetriever：大規模言語モデルのアテンション層に隠された長文検索能力の解明
長文RAGの弱点は、文脈をまたぐ依存関係や背景説明の拾い漏れを、短文向けの検索器がうまく扱えない点にあります。 / AttentionRetrieverは、事前学習済みLLMのattention mapを検索信号として使い、さらにエンティティグラフで検索範囲を広げることで、学習なしで長文検索を強化します。 / 単一文書検索では既存ベースラインを大きく上回り、QAでも入力トークンを大きく減らしながら直接生成に近い性能を示しており、長文RAGでは検索器そのものの前提を見直す必要があると分かります。
UniT：統合型マルチモーダルモデルに複数ラウンドの推論・検証・編集を組み込み、推論時計算を画像ラウンドで拡張する枠組み
UniTは、理解と生成を同じモデルでこなしつつ、1回で答えを出すのではなく、画像を作り、確かめ、直し、また確かめるという反復をテスト時に回す枠組みです。 / 重要なのは、候補を並列にたくさん出して選ぶよりも、逐次的に考えて直していく方が、同じ計算量あたりで強い点です。画像生成、編集、視覚推論の複数ベンチで一貫して優位が出ています。 / 成功の鍵は、検証、サブゴール分解、内容記憶という三つの認知的ふるまいを学習データに埋め込んだことにあります。逆に言うと、単に推論回数を増やすだけでは足りず、何を確認し、何を覚え、どう分けて直すかまで設計しないと伸びません。
視覚・言語・行動の整合性のためのスケーリング検証：ポリシー学習のスケーリングを超える効果の立証
汎用ロボットの実現を阻む「意図と行動のギャップ」を解消するため、本研究はポリシー学習の強化ではなく、推論時の検証（テスト時スケーリング）を拡張する新フレームワーク「CoVer-VLA」を提案しました。
擬似可逆ニューラルネットワーク
線形システムにおけるMoore-Penroseの擬似逆行列（PInv）を非線形領域および深層学習へと拡張し、情報の損失を伴う全射的な写像においても厳密な代数的整合性を保持する新アーキテクチャ「SPNN」を提案した。
データに潜む“サブリミナル効果”：ログ線形性で読む一般メカニズム
データのどこにも書いていないはずの性格や言語が、なぜ学習後のモデルに現れるのでしょうか？ 論文はその現象を「特別な細工」ではなく、もっと一般的に起こりうる仕組みとして捉え直します。 この記事では、Logit-Linear Selection（LLS）が何をして、何が確かめられ、どこまで言えるのかを筋道立てて整理します。