経験の時代において言語ベースの試行錯誤は遅れをとる
大規模言語モデルは非言語的な未知のタスクにおいて、膨大な試行錯誤のコストがボトルネックとなり性能が制限されています。本研究は、軽量なモデルに探索を任せ、その経験をLLMに統合するフレームワーク「SCOUT」を提案しました。これにより、計算資源を大幅に削減しながら、商用モデルを凌駕する高い性能を実現しています。
Cog AI Archive
最新の記事
人気記事ピックアップ
RedSage: サイバーセキュリティに特化した汎用LLM
TL;DRRedSageは、プライバシーリスクを回避しつつ多様なセキュリティ業務を支援するために開発された、オープンソースのサイバーセキュリティ特化型LLMである。118億トークンの専門データによる事前学習と、エージェントベースのパイプラインで生成された26.6万件の指示データによる調整を経て、既存モデルを上回る性能を実現した。
経験の時代において、言語ベースの試行錯誤は遅れをとる
大規模言語モデル（LLM）は未知の非言語的タスクにおいて、探索コストの高さがボトルネックとなっている。本研究では、軽量な「スカウト」モデルを用いて環境探索を行い、その経験でLLMを訓練するフレームワーク「SCOUT」を提案した。これにより、Qwen2.5-3BモデルはGemini-2.
Epistemic Context Learning: LLMベースのマルチエージェントシステムにおける正しい信頼構築
マルチエージェントシステムにおいて、個々のエージェントが誤った仲間に盲目的に従う問題を解決するため、Epistemic Context Learning (ECL) が提案された。ECLは過去の対話履歴から仲間の信頼性を推定し、信頼できる仲間から学ぶ枠組みである。
Adamの$\beta_1 = \beta_2$設定が優れている理由：勾配スケール不変性の原理
Adam最適化手法において、モーメンタムパラメータを$\beta1 = \beta2$とする設定が、検証スコアや学習の挙動を改善することが経験的に知られていました。本研究はこの現象を「勾配スケール不変性」という概念で理論的に解明しました。
DropoutTS: ノイズに強い時系列予測のためのサンプル適応型ドロップアウト
実世界の時系列データに頻出するノイズに対し、既存手法は効率と効果のバランスに課題があった。本研究では、モデル非依存のプラグイン「DropoutTS」を提案する。これはスペクトルスパース性を利用してノイズを定量化し、適応的なドロップアウト率を適用することで、重要な情報を保ちつつ不要な変動を抑制し、予測精度を向上させる。
グリーンウォッシング検出のための言語モデル強化フレームワーク
持続可能性報告書におけるグリーンウォッシングや曖昧な主張を検出するため、LLMの潜在空間を構造化するパラメータ効率の高いフレームワークを提案した研究です。対照学習と順序ランキングを組み合わせ、ゲート付き特徴変調でノイズを除去することで、既存モデルよりも高い堅牢性を実現しました。
予測逆ダイナミクスはいつ行動クローニングを凌駕するのか？
行動クローニング（BC）は専門家のデータが少ないと性能が低下しますが、予測逆ダイナミクスモデル（PIDM）はその代替として注目されています。本研究は、PIDMが将来の状態予測によるバイアスと引き換えに分散を大幅に削減することを理論的に解明しました。
E-mem: マルチエージェントによるエピソード文脈再構成を用いたLLMメモリ管理
LLMエージェントの高度な推論には文脈の維持が不可欠ですが、従来のメモリ圧縮手法は情報の断片化を招いていました。本研究が提案する「E-mem」は、非圧縮のメモリを保持する複数の補助エージェントと中央のマスターエージェントを連携させ、文脈を再構成します。これにより、高い推論精度と大幅なコスト削減を両立しました。
布操作学習における知覚と推論の分離によるデータ効率の向上
布の操作は高次元の状態空間や複雑な動力学により困難な課題ですが、本研究は知覚と推論を分離するモジュール型アプローチを提案します。強化学習においてモデルサイズと学習時間を大幅に削減し、SoftGymベンチマークで既存手法を上回る性能を達成しました。シミュレーションで学習したモデルの実世界への転用も実証しています。
TACLer：効率的な推論を実現するモデル適応型カリキュラム強化学習
TACLerは、大規模言語モデルの推論効率と精度を向上させる強化学習フレームワークです。モデルの習熟度に合わせて学習データの難易度を段階的に上げるカリキュラム学習と、思考モードの有無を切り替えるハイブリッド推論を採用しています。
保存済みの記事がまだありません。
読み込み中…