継続更新

生成AI研究を、要点から追う。

最新の論文記事を読みやすく整理。保存・タグ検索に加え、Plus/Proでは研究ノートと知識グラフで理解を積み上げられます。

無料で試す

Cog AI Archive

最新の記事

タスクフリーな適応的メタブラックボックス最適化

従来のメタブラックボックス最適化(MetaBBO)は、未知のタスクに汎化させるために事前に大量の手動設計された学習タスクを必要とするという大きな制約がありましたが、本研究で提案された「ABOM」は、ターゲットとなるタスクの最適化プロセスで生成されるデータのみを用いてオンラインでパラメータを適応させることで、この制約を根本から解消します。 進化計算の主要な操作である選択、交叉、変異を注意機構(Attention Mechanism)を用いた微分可能な関数として定義し、生成された個体群をエリートアーカイブに近づけるように自己更新を行うクローズドループの学習メカニズムを導入することで、事前のメタ学習を一切行わない「ゼロショット最適化」を実現しました。 合成ベンチマークおよび無人航空機の経路計画問題を用いた検証により、提案手法は高次元の問題においても既存の高度なアルゴリズムを凌駕する性能を達成しただけでなく、注意行列の可視化を通じて自然選択や遺伝的再結合といった探索パターンの統計的な解釈性を提供することが確認されています。

6134 字
読む →

タスクフリーな適応型メタブラックボックス最適化

従来のメタブラックボックス最適化(MetaBBO)は、未知のタスクへ適応するために事前に設計された膨大な学習用タスク分布を必要としていたが、本研究が提案するABOM(Adaptive meta Black-box Optimization Model)は、ターゲットとなるタスクから得られる自己生成データのみを用いてオンラインでパラメータを適応させる。 このモデルは、進化計算の主要なオペレータである選択、交叉、突然変異をアテンション機構に基づいた微分可能な関数として定義しており、生成された個体群とエリートアーカイブの距離を最小化するようにパラメータをリアルタイムで更新することで、事前のメタ学習フェーズを一切必要としない「ゼロショット最適化」を実現している。 合成ベンチマーク(BBOB)や実世界の無人航空機(UAV)経路計画問題において、ABOMは事前に学習済みの最新メタ学習手法や高度に調整された適応型アルゴリズムと同等以上の性能を発揮し、さらにGPU加速への対応やアテンション行列を通じた探索パターンの可視化による高い解釈性、および全域収束性の理論的保証を兼ね備えている。

5682 字
読む →

SOUP:大規模言語モデルのためのトークンレベル単一サンプル混合ポリシー強化学習

大規模言語モデルの強化学習において、従来のオンポリシー手法が抱えていた「探索の多様性の欠如」と、既存のオフポリシー手法が抱えていた「学習の不安定性」という二律背反の課題を解決するため、単一のサンプル内で過去のポリシーと現在のポリシーをトークン単位で統合する新フレームワーク「SOUP」が提案されました。

6850 字
読む →

SOUP:大規模言語モデルのためのトークンレベル単一サンプル混合ポリシー強化学習

大規模言語モデルの強化学習において、従来のオンポリシー手法は探索の多様性が不足し、性能が早期に飽和するという課題がありました。本研究では、単一の回答サンプル内で過去のポリシーによる接頭辞と現在のポリシーによる継続生成をトークンレベルで統合する新しい枠組みであるSOUPを提案し、学習の安定性と探索能力の両立を図っています。数学的推論タスクを用いた広範な実験の結果、SOUPは標準的なオンポリシー学習や既存のオフポリシー拡張手法を上回る性能を達成し、より安定した報酬の推移と高い探索効率を実現することが確認されました。

6831 字
読む →

希薄なグラフ上での平均場制御:局所極限から近傍分布を介したGNNへの展開

大規模マルチエージェントシステムにおいて、従来の平均場制御が前提としていた「全エージェント間の一様な相互作用」という制約を打破し、現実的な希薄グラフ上での制御を可能にする理論的枠組み「Sparse-MFC」が提案されました。

6455 字
読む →

微分動的因果ネットワーク:モデル構築、同定、およびグループ比較

脳の大規模な神経相互作用を解明するため、脳波データから直接「微分動的因果ネットワーク(NccDCM)」を構築する新たな手法が提案され、微視的から巨視的なスケールにわたる病態生理学的モデリングの計算上の制約が克服されました。

5780 字
読む →

微分動的因果ネットワーク:モデル構築、同定、およびグループ比較

脳の微視的な神経活動から巨視的な現象までを統合的に理解するため、脳波(EEG)データから直接的に微分因果ネットワークを構築する新しいアプローチであるNccDCMが提案されました。この手法は、相互作用する神経細胞集団の平均的な挙動を記述する条件付き結合神経回路に基づいており、各ノードは局所的な神経システムを、有向エッジはノード間の伝達パラメータを表現しています。 提案されたネットワークは階層構造を持ち、ノードとエッジのパラメータは被験者ごとに変動しつつも混合効果モデルに従うよう設計されており、確率微分方程式のチェン・フリース展開を用いた進化的最適化アルゴリズムによって効率的なパラメータ推論を実現しています。この枠組みにより、大規模な神経接続のモデル化に伴う計算上の課題を克服し、個々の脳の異質性を考慮した解析が可能となりました。 実際の小児てんかん患者と対照群のEEGデータを用いた検証では、てんかん発作時および発作前における興奮性・抑制性介在ニューロンの不均衡や、脳内ネットワークの機能的断絶、および異常な結合パターンの変化を特定することに成功しました。この結果は、てんかんの病態メカニズムの解明や、脳活動のバイオマーカーとしての有効性を示唆しており、臨床的な診断や治療戦略の策定に寄与する可能性を秘めています。

6099 字
読む →

DimStance: 多言語における次元的なスタンス分析のためのデータセット

従来のスタンス検出は「賛成」「反対」といった単純なカテゴリ分類に限定されてきましたが、本研究では感情科学の知見を導入し、感情の質を示す「価」と強さを示す「喚起度」という連続的な数値次元でスタンスを詳細に評価する新しいアプローチを提案しました。

5659 字
読む →

DimStance: 多言語における次元的スタンス分析のためのデータセット

従来のスタンス検出は「賛成」「反対」「中立」といったカテゴリ分類が主流であったが、本研究では感情科学の枠組みを導入し、感情の価数(ポジティブ・ネガティブ)と覚醒度(穏やか・活発)という連続的な数値でスタンスを捉える新しいアプローチを提案した。

5646 字
読む →

最小抵抗の道:プレフィックス・コンセンサスによるLLM推論軌跡の誘導

PoLR(Path of Least Resistance)は、大規模言語モデル(LLM)の推論コストを劇的に削減するために開発された、推論時に適用可能な新しいアルゴリズムである。従来のSelf-Consistency(SC)がすべての推論経路を最後まで生成して計算資源を浪費するのに対し、本手法は初期の短い断片(プレフィックス)を生成した段階でクラスタリングを行い、最も有力なグループのみを拡張することで無駄な計算を排除する。 数学や科学などの多様なベンチマークにおいて、SCと同等以上の精度を維持しながら、トークン使用量を最大60%、実行時間を最大50%削減することに成功しており、モデルの追加学習を必要としないドロップイン型の代替案として極めて高い実用性を持つ。 理論的な分析により、推論の初期段階には最終的な正解を予測するための強い信号が含まれていることが示されており、この「プレフィックスの一貫性」を利用することで、効率性と精度の両立を実現している。既存の適応的推論手法とも完全に補完関係にあり、それらと組み合わせることでさらなる計算資源の節約が可能となる。

5913 字
読む →