DASH: 大規模言語モデルの再現可能な学習を実現する高スループットな決定論的アテンション・スケジューリング

要約

LLM学習の再現性には決定論的な計算が不可欠だが、FlashAttention-3等では勾配蓄積の直列化によりスループットが最大37.9%低下する課題がある。本研究は、決定論的アテンションのバックワード・パスをDAGスケジューリング問題として定式化するDASHを提案した。これにより、従来比で最大1.28倍のスループット向上を実現している。

全文は有料プランで閲覧できます。