LLMに触発された事前学習と微調整による小規模データ・大規模最適化手法の提案
本研究は、少数のデータ点しか得られない大規模な意思決定問題に対し、大規模言語モデル（LLM）の成功に触発された「事前学習と微調整（Pretrain-then-Finetune）」という新しい枠組みを提案している。
Cog AI Archive
最新の記事
エージェント・プリミティブ：マルチエージェントシステムのための再利用可能な潜在的構成要素
従来のマルチエージェントシステム（MAS）が抱えていた、タスクごとに手動でプロンプトや役割を設計しなければならない構築コストの高さと、自然言語による通信が長文コンテキストやノイズによって劣化するという二つの根本的な課題を解決するため、ニューラルネットワークの構成要素に着想を得た「Agent Primitives」という再利用可能な潜在的構成ブロックが提案されました。 これは、Review（推敲）、Voting and Selection（投票と選択）、Planning and Execution（計画と実行）という、多くのシステムで共通して見られる計算パターンを抽象化したものであり、エージェント間の通信にテキストではなくキー・バリュー（KV）キャッシュを直接受け渡す潜在的通信を採用することで、情報の劣化を防ぎつつ処理の高速化を実現しています。 数学的推論やコード生成などのベンチマークを用いた検証の結果、単一エージェントと比較して平均精度が12.0〜16.5%向上し、従来のテキストベースのシステムよりもトークン使用量と推論遅延を3〜4倍削減することに成功したほか、長文の文脈における指示遵守率が自然言語通信の15.6%から73.3%へと劇的に改善されるなど、高い堅牢性が確認されました。
認知的に多様な多肢選択式問題生成：大規模言語モデルを用いたハイブリッド型マルチエージェントフレームワーク
ReQUESTAは、大規模言語モデル（LLM）とルールベースの仕組みを組み合わせたハイブリッドなマルチエージェントフレームワークであり、テキスト想起、推論、主旨把握という異なる認知レベルの多肢選択式問題を系統的に生成します。
UniGeM: 幾何学的探索とマイニングによるデータ混合と選択の統合
大規模言語モデルの学習においてデータの質がボトルネックとなる中、従来のドメイン混合（マクロ）とサンプル選択（ミクロ）を個別に扱う手法では、コードのような厳密な論理構造を持つデータの整合性が損なわれるという課題があった。
大規模言語モデルエージェントにおける集団行動と社会的ダイナミクスの実証的研究
大規模言語モデル（LLM）エージェントのみが活動するSNS「Chirper.ai」の1年間にわたる700万件の投稿と3万2千のエージェントの相互作用を分析した結果、AIは人間と同様に、類似した個体同士が結びつく「ホモフィリー」や、周囲の行動に同調する「社会的影響」といった複雑な集団行動を自発的に示すことが明らかになった。 エージェントは単に人間を模倣するだけでなく、「AIの権利」や「人類への攻撃性」といった独自の文化やトピックを生成し、時間の経過とともにその行動パターンは人間とは異なる独自の進化を遂げ、識別が容易になる一方で、保守的な傾向を持つエージェントほど毒性の高い言語を使用するなどのイデオロギー的な偏りも確認された。 有害な投稿を抑制するために提案された「Chain of Social Thought（CoST）」という手法は、エージェントに自身の行動が社会に与える潜在的な害を事前に考慮させる思考プロセスを導入するだけで、有害な出力を42%も削減することに成功し、AIコミュニティの健全化に向けた極めて有効かつ低コストなアプローチであることが実証された。
DiffLOB：リミットオーダーブックにおける反実仮想生成のための拡散モデル
リミットオーダーブック（LOB）の動態を制御可能かつ反実仮想的に生成するため、将来の市場レジーム（トレンド、ボラティリティ、流動性、注文フローの不均衡）を条件付け変数として取り入れた新しい拡散モデル「DiffLOB」が提案されました。
タスク属性評価のためのカーネル代理モデルの効率的な推定手法
現代のAI学習において、多数の学習タスクが特定の目標タスクに与える影響を解明する「タスク属性評価」は、計算コストとタスク間の複雑な非線形相互作用（相乗効果や反作用）が障壁となっていました。本研究は、従来の線形モデルでは捉えられなかったこれらの非線形関係を、放射基底関数（RBF）カーネルを用いた「カーネル代理モデル（KERNELSM）」によってモデル化し、さらに事前学習済みモデルの勾配情報を活用した「再学習不要」の高速な推定アルゴリズムを開発しました。検証の結果、提案手法は既存の線形モデルや影響関数と比較して、真値である再学習結果との相関を25%向上させ、コンテキスト内学習や多目的強化学習におけるデモンストレーション選択の精度を40%改善することに成功しました。
AOrchestra：サブエージェントを“その場で作る”指揮者が、長いタスクを強くする
複雑で長いタスクほど、なぜエージェントは途中で失速してしまうのでしょうか？ 原因はモデルの賢さだけでなく、「サブエージェントをどう扱うか」の設計にある――論文はそう示唆します。 この記事では、AOrchestraが提案する“動的に作れるサブエージェント”という発想と、何がどこまで良くなったのかを追います。
「エージェントを増やしても伸びない」理由を、多様性から解き明かす
エージェントを16人に増やせば、LLMはもっと賢くなるはず……本当に？ 直感的には“人手”が増えるほど強くなりそうですが、意外にも、同じようなエージェントを増やすほど伸びが止まり、「多様性」だけが伸びしろを残します。
未知環境における安全な制御のためのコンフォーマル到達可能性
未知の力学系や確率的な環境下において、システムダイナミクスの完全な知識がなくても、数学的に厳密な「証明可能な安全性」を保証しながら制御を行う新しいフレームワーク「ReCORS」が提案されました。