因果的自己回帰拡散言語モデル

要約

本研究は、自己回帰モデル（ARM）の学習効率と拡散モデルの高速な推論能力を統合した新しいフレームワーク「CARD」を提案する。厳密な因果的注意マスクを用いて拡散プロセスを再構築し、単一のフォワードパスで高密度な監視を可能にした。既存の離散拡散モデルを上回る性能を示しつつ、学習遅延を3分の1に短縮することに成功している。

全文は有料プランで閲覧できます。