ECO: フル精度マスターウェイト不要の量子化トレーニング

要約

大規模言語モデル（LLM）の学習において、高精度のマスターウェイトを保持する必要性を排除する新しい最適化手法「ECO」が提案された。ECOは量子化されたパラメータに直接更新を適用し、量子化誤差をオプティマイザのモーメンタムに注入することで補正する。これにより、メモリ使用量を大幅に削減しつつ、従来手法と同等の精度を維持することに成功した。

全文は有料プランで閲覧できます。