生成AIの推論エネルギー消費を解剖する：大規模測定と診断フレームワーク

要約

生成AIにおける推論時のエネルギー消費を最適化するため、46モデル・7タスク・1,858構成に及ぶ大規模な測定を実施した研究である。タスクの種類やGPU使用率の違いがエネルギー消費に数倍から百倍以上の差を生むことを明らかにし、その要因を分析するためのフレームワークを提案している。

全文は有料プランで閲覧できます。