コードの複雑さとLLMの推論能力：データ中心のアプローチによる分析
大規模言語モデル（LLM）の推論能力向上におけるコード学習の影響を調査した研究である。コードを一般的な学習信号として扱うのではなく、その構造的複雑さに着目し、制御フローや構成構造が推論能力に与える影響を分析した。
Cog AI Archive
最新の記事
人気記事ピックアップ
RedSage: サイバーセキュリティに特化した汎用LLM
TL;DRRedSageは、プライバシーリスクを回避しつつ多様なセキュリティ業務を支援するために開発された、オープンソースのサイバーセキュリティ特化型LLMである。118億トークンの専門データによる事前学習と、エージェントベースのパイプラインで生成された26.6万件の指示データによる調整を経て、既存モデルを上回る性能を実現した。
多様体射影によるフローマッチングの分類器なしガイダンスの改善
拡散モデル等で広く使われるClassifier-Free Guidance (CFG) は、ヒューリスティックな線形外挿に依存しており、ガイダンススケールに敏感であるという課題がある。本研究ではCFGを最適化の観点から再解釈し、多様体制約付きのホモトピー最適化として定式化した。
astra-langchain4j：LLMとエージェントプログラミングを組み合わせた経験
生成AIの台頭とエージェントAIへの注目が高まる中、伝統的なエージェントツールキットと新技術の相互作用を探ることは重要である。本論文は、ASTRAプログラミング言語に大規模言語モデル（LLM）を統合したプロトタイプ開発の経験を概説し、3つの実装例を通じて得られた知見を議論する。
WebArbiter: 原理に基づく推論プロセス報酬モデルによるWebエージェントの進化
WebArbiterは、Webエージェント向けの新しいプロセス報酬モデル（WebPRM）であり、報酬モデリングをテキスト生成として定式化することで、構造化された正当化と判定を出力します。推論蒸留と強化学習の2段階訓練により、GPT-5を含む既存モデルを上回る性能と汎用性を実現しました。
スコアベース生成モデルにおける忘却と安定性に関する定量的解析
本研究は、スコアベース生成モデルのサンプリング誤差に関する定量的境界を、逆時間ダイナミクスに関連するマルコフ連鎖の安定性と忘却特性を利用して導出しました。弱い仮定の下で、初期化および離散化誤差の伝播を制御するためのリアプノフドリフト条件とドブリン型マイナー化条件という2つの構造的特性を提示しています。
MoHETS: 異種混合エキスパートを用いた長期時系列予測
MoHETSは、長期時系列予測のための新しいエンコーダのみのTransformerモデルである。従来の同質的なMLPエキスパートではなく、畳み込みとフーリエベースの異種エキスパートを組み合わせることで、複雑な時間的ダイナミクスを捉える。7つのベンチマークで平均MSEを12%削減し、最先端の性能を達成した。
KnowBias: バイアス知識ニューロンの強化によるLLMの社会的バイアス軽減
大規模言語モデル（LLM）における社会的バイアスを軽減する新しいフレームワーク「KnowBias」が提案された。従来の手法とは異なり、バイアスに関連するニューロンを抑制するのではなく、バイアス知識をコード化しているニューロンを特定し、推論時に強化することでバイアスを軽減する。
LEMUR: 学習ベースのマルチベクトル検索フレームワーク
ColBERTのようなマルチベクトル表現は検索品質が高い一方で、遅延が大きいという課題がある。本研究では、マルチベクトル類似検索を教師あり学習問題として定式化し、さらに潜在空間でのシングルベクトル検索に還元するフレームワーク「LEMUR」を提案する。これにより、従来の手法よりも一桁高速な検索を実現した。
視覚的分離拡散オートエンコーダ：基盤モデルのためのスケーラブルな反事実生成
基盤モデルが抱える偽の相関関係や「賢馬ハンス」現象への脆弱性を克服するため、Visual Disentangled Diffusion Autoencoders (DiDAE) という新手法が提案されました。これは凍結された基盤モデルと分離表現学習を統合し、勾配計算なしで効率的に多様な反事実データを生成します。
グラフ情報を活用したLLMによる身体的タスクプランニング：GiGフレームワークの提案
大規模言語モデルを身体的エージェントとして用いる際の長期的な計画立案の課題に対し、Graph-in-Graph（GiG）という新フレームワークが提案されました。環境状態をグラフで符号化し、過去の経験を構造的に検索・利用することで、論理的な行動生成を実現します。
保存済みの記事がまだありません。
読み込み中…