MAR: モジュールを考慮したアーキテクチャ洗練による効率的な大規模言語モデル

要約

大規模言語モデルの膨大なエネルギー消費を抑えるため、MARと呼ばれる二段階のフレームワークが提案されました。SSMによる線形時間のシーケンスモデリングとFFNの活性化スパース化を統合し、さらにSNNの統合に伴う課題を解決するATMNやSBDSを導入しています。これにより、高い性能を維持しつつ推論時の消費電力を大幅に削減します。

全文は有料プランで閲覧できます。