最新の論文記事を読みやすく整理。保存・タグ検索に加え、Plus/Proでは研究ノートと知識グラフで理解を積み上げられます。
Cog AI Archive
拡散大規模言語モデル（dLLM）は並列デコーディングと双方向アテンションにより高い一貫性を持つが、自己回帰型モデルと比較して推論速度が大幅に遅いという課題がある。 本研究が提案するStreaming-dLLMは、空間的な冗長性を排除する「減衰誘導サフィックスモデリング」と、時間的な非効率性を改善する「動的信頼度認識並列デコーディング」を導入した学習不要のフレームワークである。 検証の結果、生成品質を維持したまま最大68.2倍の推論加速を達成し、既存の手法を大幅に上回るスループットと競争力のある精度を両立することに成功した。
1. 自律型実験室（SDL）は、実験設計、自動実行、データ駆動型の意思決定を統合する仕組みであり、高コストな試行、ノイズや遅延のあるフィードバック、厳格な安全性制約、そして非定常性が存在する物理環境において、エージェントAIの能力を試す重要な場となっている。
大規模言語モデル（LLM）の微調整において、従来のLoRAは全ての層に一律のランクを割り当てていたが、本研究では各ランクの重要度をゲーム理論の「シャープレイ値」に着想を得た「Shapley sensitivity」で測定し、最適なランク割り当てを行うShapLoRAを提案した。
本研究では、複雑なアクションRPG『Dark Souls III』の戦闘を「カメラ操作」「ターゲットロック」「移動」「回避」「回復・攻撃判断」という5つの再利用可能なスキルに分解し、それらを有向スキルグラフとして構造化することで、従来の単一ネットワーク手法を圧倒する学習効率と環境適応能力を実現しました。
学習を本質的にエネルギーを消費し情報を捨てる「散逸プロセス」と定義し、忘却や正則化をシステムの生存に不可欠な構造的要件として再構築するBEDSフレームワークを提案している。 情報幾何学と熱力学に基づき、フィッシャー・ラオ正則化が最小の散逸で学習を実現する唯一の最適戦略であることを理論的に証明し、既存の多様な機械学習手法を単一の方程式で統一的に説明することに成功した。 過学習を「過剰な結晶化」、壊滅的忘却を「散逸制御の不全」と捉え直し、有限のリソース下で精度と適応性のバランスを維持し続ける「生存可能性」を、従来の評価基準に代わる新たな指標として提示している。
大規模言語モデルの推論能力を向上させるための推論時計算量の拡張において、従来の強化学習やサンプリング手法は膨大な学習コストやメモリ消費、推論経路の重複といった深刻な課題を抱えていましたが、本研究が提案する「TGR（The Geometric Reasoner）」は、追加学習を一切必要とせず、推論過程をチャンク単位に分割してメモリ消費を抑えつつ、潜在空間での多様体情報を活用した「潜在的予見探索」を行う革新的なフレームワークです。 具体的には、推論を短いチャンクに分割し、各境界で潜在アンカーを抽出・サンプリングして、予見スコア、軌跡の滑らかさを表す凹凸ペナルティ、多様性を促す一様性正則化からなる幾何学的スコアで最適な経路を選択し、低ランクの残差注入によってモデルを制御することで、KVキャッシュのメモリ消費を文脈長に対して線形に保ちながら、長大で論理的一貫性のある多様な推論を効率的に生成することに成功しました。 Qwen3-8Bを用いた数学やコード生成の難解なベンチマークでの検証では、Pass@k曲線の曲線下面積（AUC）を最大13ポイント向上させ、計算負荷をわずか1.1倍から1.3倍程度に抑えつつ、既存の強化学習ベースの手法（GRPOやSimKO）を凌駕する高い網羅性と予算効率を実証しており、モデルの重みを更新することなく推論時の工夫のみで高度な探索を実現できる実用性の高い手法であることを示しました。
本研究では、大規模言語モデル（LLM）を用いたText-to-SQLの精度を向上させるため、単一エージェントの自己改善とアンサンブル投票を統合したSSEVパイプライン、および複雑な企業データベースに対応する多機能エージェントフレームワークであるReCAPAgent-SQLを提案しました。
本研究は、計算資源やエネルギーなどの共有リソースを時間経過とともに配分する際、過去にリソースを貸し出したエージェントが将来優先的に報われることを保証する「クレジット公平性」という新しい概念を提案した。
従来のTransformer分析は、個別のヘッドや特定の層といった局所的な挙動に焦点を当てており、モデル全体のグローバルな情報の流れを数学的に統一して記述する枠組みが欠如していました。本研究で提案された「TensorLens」は、自己アテンションだけでなく、FFN、レイヤー正規化、残差接続、埋め込み層を含むすべての構成要素を統合し、単一の入力依存型線形オペレータとして再定式化する画期的な手法です。 この枠組みは、モデル全体を4階のアテンション相互作用テンソルとして表現することで、トークン間およびチャネル間の複雑な相互作用を理論的に厳密な形で捉えることを可能にし、従来のアテンション行列という2次元の構造をより高次な空間へと拡張しました。 実験では、視覚モデルのDeiTや言語モデルのBERTを用いた入力摂動テストにおいて、従来のアテンションロールアウトやヒューリスティックな集約手法を大幅に上回る精度でモデルの内部表現を反映できることが実証され、メカニスティックな解釈可能性の研究に新たな数学的基盤を提供しました。
大規模言語モデル（LLM）が学習データの中に保持している、特定の文化に固有の常識や慣習を「もし〜ならば、次に〜する」という形式の推論チェーンとして体系的に抽出する新しいフレームワーク「CCKG」を開発した。