タスクIDなし・カテゴリ重複ありのストリーミング環境に対応する連合継続学習「FedKACE」
TL;DR連合継続学習（FCL）において、カテゴリ重複やタスクIDの欠如を含むストリーミングデータに対応する新手法「FedKACE」が提案されました。適応的なモデル切り替え、勾配バランス調整によるリプレイ、カーネルスペクトル境界に基づくバッファ管理を組み合わせることで、過去の知識を保持しつつ新しい知識を効果的に学習します。
Cog AI Archive
最新の記事
人気記事ピックアップ
RedSage: サイバーセキュリティに特化した汎用LLM
TL;DRRedSageは、プライバシーリスクを回避しつつ多様なセキュリティ業務を支援するために開発された、オープンソースのサイバーセキュリティ特化型LLMである。118億トークンの専門データによる事前学習と、エージェントベースのパイプラインで生成された26.6万件の指示データによる調整を経て、既存モデルを上回る性能を実現した。
LLMの事後学習におけるパラメータサーバの再考
TL;DR大規模言語モデル（LLM）の事後学習において、シーケンス長のばらつきによるワークロードの不均衡が課題となっている。従来のFSDPは同期バリアによって速度低下を招くため、パラメータサーバーの概念を応用した「On-Demand Communication (ODC)」を提案。ポイントツーポイント通信と非同期処理により、最大36%の高速化を実現した。
Appleシリコン上での大規模なネイティブLLMおよびMLLM推論
TL;DRApple Siliconの統合メモリを活かした新しい推論フレームワーク「vllm-mlx」が提案されました。MLXをベースに構築され、テキストモデルでは既存ツール比で最大87%のスループット向上を実現。さらにマルチモーダルモデル向けに画像キャッシュ機能を導入し、繰り返し処理を劇的に高速化しています。
普遍的な負荷分散原理とその大規模言語モデルサービングへの応用
TL;DR大規模言語モデル（LLM）の推論などで課題となる、同期的な処理におけるリソースの偏りと待機時間の問題を解決する新たな「普遍的ロードバランシング原理」が提案されました。この手法は、最悪ケースでも性能を保証する整数最適化に基づいており、スループットと遅延を大幅に改善し、エネルギー消費も削減することが実験で示されています。
Faramesh：自律エージェントシステムのためのプロトコル非依存型実行制御プレーン
TL;DR自律エージェントが現実世界へ影響を及ぼす行動を実行する際、組織が確実に許可・拒否・保留を判断できるチェックポイントが不足している。本研究は、プロトコル非依存の実行制御プレーン「Faramesh」を提案する。
Athena：オンライン強化学習によるデータプリフェッチとオフチップ予測の相乗化
TL;DRAthenaは、強化学習を用いてプロセッサのメモリレイテンシ隠蔽技術であるプリフェッチとオフチップ予測を自律的に調整するフレームワークです。単純な組み合わせでは得られない性能を、システム全体の特徴（精度や帯域幅）を観測し、各機構の有効化や積極性を動的に制御することで引き出します。
保存済みの記事がまだありません。
読み込み中…