生成AIの推論エネルギー消費を解剖する：大規模測定と診断フレームワーク
TL;DR生成AIにおける推論時のエネルギー消費を最適化するため、46モデル・7タスク・1,858構成に及ぶ大規模な測定を実施した研究である。タスクの種類やGPU使用率の違いがエネルギー消費に数倍から百倍以上の差を生むことを明らかにし、その要因を分析するためのフレームワークを提案している。
Cog AI Archive
最新の記事
人気記事ピックアップ
RedSage: サイバーセキュリティに特化した汎用LLM
TL;DRRedSageは、プライバシーリスクを回避しつつ多様なセキュリティ業務を支援するために開発された、オープンソースのサイバーセキュリティ特化型LLMである。118億トークンの専門データによる事前学習と、エージェントベースのパイプラインで生成された26.6万件の指示データによる調整を経て、既存モデルを上回る性能を実現した。
異種コンピューティング：AIエージェント推論の未来を支える鍵
TL;DRAIエージェントの推論は、計算能力だけでなくメモリ容量や帯域幅のボトルネックを露呈させている。本研究は「演算強度（OI）」と「容量フットプリント（CF）」という2つの指標を導入し、従来のルーフライン分析では見逃されていたメモリ容量の壁などの領域を解明する。
分散型LLMコラボレーションを学習するマルチエージェントActor-Critic手法
TL;DR本研究は、分散型LLMコラボレーションを最適化するためのマルチエージェントActor-Critic（MAAC）手法を提案しています。中央集権型Criticを持つCoLLM-CCと分散型Criticを持つCoLLM-DCの2つのアプローチを開発し、長期的タスクや報酬が疎な環境におけるCoLLM-CCの優位性を示しました。
DASH: 大規模言語モデルの再現可能な学習を実現する高スループットな決定論的アテンション・スケジューリング
TL;DRLLM学習の再現性には決定論的な計算が不可欠だが、FlashAttention-3等では勾配蓄積の直列化によりスループットが最大37.9%低下する課題がある。本研究は、決定論的アテンションのバックワード・パスをDAGスケジューリング問題として定式化するDASHを提案した。これにより、従来比で最大1.
EWSJF: 混合ワークロードのLLM推論に向けたハイブリッド分割による適応型スケジューラ
TL;DRLLM推論において、短時間の対話型クエリと長時間のバッチ処理が混在する際の遅延と効率低下を解決する新手法「EWSJF」が提案されました。この手法は、ワークロードの構造をリアルタイムで学習し、リクエストを動的にグループ化して優先順位を付けます。
EWSJF: 混合ワークロードLLM推論のためのハイブリッド分割型適応スケジューラ
TL;DRLLM推論において、短く遅延に敏感なクエリと長くスループット重視のバッチ処理が混在する状況は、スケジューリングの課題を生みます。本研究では、ワークロード構造をリアルタイムで学習し、公平性とスループットを向上させる適応型スケジューラ「EWSJF」を提案します。
ScaleSim: 呼び出し距離に基づくメモリ管理による大規模マルチエージェント・シミュレーションの効率化
TL;DRLLMを用いた大規模マルチエージェント・シミュレーションでは、各エージェントが保持する個別の状態によりGPUメモリが枯渇する課題があります。本研究は、エージェントの呼び出し順序を予測する「呼び出し距離」という概念を導入したScaleSimを提案しました。これにより、効率的なメモリ管理と最大1.
ScaleSim：呼び出し距離に基づくメモリ管理による大規模マルチエージェントシミュレーションの効率化
TL;DRLLMを用いた大規模マルチエージェントシミュレーションでは、各エージェントが保持する状態によるGPUメモリの枯渇が課題です。本研究は、エージェントの起動順序を予測する「呼び出し距離」という概念を導入したScaleSimを提案します。これにより、効率的なプリフェッチとメモリ解放を実現し、従来手法と比較して最大1.
GEMM中心のNPUを超えて：拡散LLMサンプリングの効率化を実現するアーキテクチャ
TL;DR拡散大規模言語モデル（dLLM）の推論において、全レイテンシの最大70%を占めるサンプリング処理の効率化に取り組んだ研究。従来のGEMM中心のNPUでは苦手な不規則なメモリアクセス等に対し、軽量なベクトル命令やメモリ再利用戦略を導入。RTX A6000 GPUと比較して最大2.53倍の高速化を達成した。
SuperInfer：スーパーチップ上でのLLM推論を最適化するSLO認識型スケジューリングとメモリ管理
TL;DRLLM推論において、限られたGPUメモリと厳しい遅延SLO（サービスレベル目標）の両立は課題でした。SuperInferは、NVIDIA GH200等のスーパーチップ向けに設計された推論システムです。
保存済みの記事がまだありません。
読み込み中…