連続制御におけるANNからSNNへの変換を阻む「誤差増幅」の壁
TL;DR学習済みの人工ニューラルネットワーク（ANN）をスパイキングニューラルネットワーク（SNN）に変換する手法は、強化学習において有望だが、連続制御タスクでは性能が低い。本研究はこの原因が、小さな行動近似誤差が時間的に相関し、累積的な状態分布のシフトを引き起こす「誤差増幅」にあると特定した。
Cog AI Archive
最新の記事
人気記事ピックアップ
RedSage: サイバーセキュリティに特化した汎用LLM
TL;DRRedSageは、プライバシーリスクを回避しつつ多様なセキュリティ業務を支援するために開発された、オープンソースのサイバーセキュリティ特化型LLMである。118億トークンの専門データによる事前学習と、エージェントベースのパイプラインで生成された26.6万件の指示データによる調整を経て、既存モデルを上回る性能を実現した。
エージェントによるスキルの進化を通じたメタ・コンテキスト・エンジニアリング
TL;DR大規模言語モデルの性能を左右するコンテキスト最適化において、従来の手法は手動の設計や固定的な枠組みに依存していました。本研究が提案する「Meta Context Engineering (MCE)」
エージェント的スキルの進化によるメタコンテキストエンジニアリング
TL;DR本研究は、大規模言語モデルの文脈最適化を自動化する「Meta Context Engineering (MCE)」を提案しています。従来の固定的な手法とは異なり、メタレベルのエージェントがスキルの進化を主導し、ベースレベルのエージェントが柔軟なコードやファイルとして文脈を最適化します。
LLaMEA-SAGE: 説明可能なAIによる構造的フィードバックを用いたアルゴリズム自動設計の誘導
TL;DRLLaMEA-SAGEは、大規模言語モデルを用いたアルゴリズム自動設計において、コードの構造的特徴を活用する新手法です。抽象構文木から抽出した複雑性指標などを説明可能なAIで分析し、性能に影響する要素を自然言語の指示としてモデルにフィードバックします。
LLaMEA-SAGE: 説明可能なAIによる構造的フィードバックを用いた自動アルゴリズム設計の進化
TL;DRLLMを用いた自動アルゴリズム設計において、コードの構造的特徴を活用する新手法「LLaMEA-SAGE」が提案されました。抽象構文木から抽出した特徴を説明可能なAIで分析し、自然言語の指示としてLLMにフィードバックします。
MAR: モジュールを考慮したアーキテクチャ洗練による効率的な大規模言語モデル
TL;DR大規模言語モデルの膨大なエネルギー消費を抑えるため、MARと呼ばれる二段階のフレームワークが提案されました。SSMによる線形時間のシーケンスモデリングとFFNの活性化スパース化を統合し、さらにSNNの統合に伴う課題を解決するATMNやSBDSを導入しています。
タスクフリーな適応的メタブラックボックス最適化
TL;DR従来のメタブラックボックス最適化は、事前に大量の学習タスクを必要とする点が課題でした。本研究が提案するABOMは、ターゲットタスクのデータのみを用いてオンラインでパラメータを適応させる手法です。事前学習なしのゼロショット最適化を実現し、無人航空機の経路計画などの実用的な問題で高い性能を示しました。
タスクフリーな適応型メタブラックボックス最適化
TL;DR従来のメタブラックボックス最適化は、事前に大量の訓練タスクを必要とする点が課題でした。提案手法のABOMは、ターゲットタスクのデータのみを用いてオンラインでパラメータを適応させることで、事前のタスク配布を不要にします。これにより、未知のタスクに対してもゼロショットで高い最適化性能を発揮することが可能となりました。
制御可能な高レベル特性を持つ連続最適化問題のLLM駆動設計
TL;DR連続ブラックボックス最適化のベンチマークにおいて、既存のテストセット（BBOBなど）の構造的多様性の不足が課題となっている。本研究では、LLMを進化ループに組み込んだLLaMEAフレームワークを用い、多峰性や分離可能性といった高次の特性を持つ最適化問題を自然言語から生成する手法を提案・検証した。
EvolVE：LLMベースのVerilog生成と最適化のための進化的探索
TL;DR大規模言語モデル（LLM）を用いたVerilog生成において、厳密な論理や並行性の扱いに課題がある中、本研究は進化的探索を用いた新フレームワーク「EvolVE」を提案します。モンテカルロ木探索とIdea-Guided Refinementを組み合わせ、機能的正当性と最適化性能を向上させました。
保存済みの記事がまだありません。
読み込み中…