共鳴型スパース幾何ネットワーク
TL;DRRSGNは脳に着想を得た自己組織化スパース接続を持つ新アーキテクチャです。計算ノードを双曲空間に埋め込み、測地線距離に応じて接続強度を減衰させることで、Transformerの$O(n^2)$計算量に対し$O(nk)$（$k \ll n$）を実現しました。長期依存タスクで96.5%の精度を達成しつつ、パラメータ数を約1/15に削減しています。
Cog AI Archive
最新の記事
人気記事ピックアップ
RedSage: サイバーセキュリティに特化した汎用LLM
TL;DRRedSageは、プライバシーリスクを回避しつつ多様なセキュリティ業務を支援するために開発された、オープンソースのサイバーセキュリティ特化型LLMである。118億トークンの専門データによる事前学習と、エージェントベースのパイプラインで生成された26.6万件の指示データによる調整を経て、既存モデルを上回る性能を実現した。
深層内発的驚き正則化制御（DISRC）：疎な環境における効率的な深層Q学習のための生物学に着想を得た機構
TL;DR標準的なDeep Q-Network (DQN) が苦手とするスパース報酬環境において、学習効率を向上させる新たな手法DISRCが提案されました。生物学的メカニズムに着想を得て、潜在空間における「驚き（Surprise）」の度合いに応じてQ学習の更新を動的に調整します。実験では、探索の初期段階での柔軟性と収束後の安定性。
保存済みの記事がまだありません。
読み込み中…