より細かければ良いのか？ 大規模言語モデルにおけるマイクロ・スケーリング形式の限界

要約

マイクロスペーリングはモデル圧縮に有用だが、量子化のブロックサイズを一定以下に小さくすると、逆にモデル性能が劣化するという意外な現象が発見された。この原因を狭いテンソル分布とスケールのダイナミックレンジ不足の相互作用と特定。解決策として、新たなハードウェア向けのスケール形式「UE5M3」を提案し、その有効性を示した。

全文は有料プランで閲覧できます。