Rectified Flowのサンプル複雑度は最適レートを達成：拡散モデルを超える効率性の理論的背景

TL;DR（結論）

本研究は、Rectified Flow（RF）がターゲット分布を学習する際に必要とするサンプル数（サンプル複雑度）において、情報理論的な下限値である $\tilde{O}(\epsilon^{-2})$ を達成することを理論的に証明しました。これは、従来の拡散モデルや一般的なフローマッチングモデルが示していた $O(\epsilon^{-4})$ という境界を劇的に改善するものであり、統計的な推定効率において平均推定と同等の最適な収束レートを実現していることを意味します。この飛躍的な向上は、RFが採用する直線的な軌道という幾何学的な制約と二乗誤差損失を用いた学習目的に由来しており、局所ラデマッハ複雑度を用いた高度な解析によって、その統計的優位性が数学的に裏付けられました。生成AIの学習効率を根本から規定するこの成果は、少ないデータと計算資源で高品質なモデルを構築するための強固な理論的基盤を提供し、実用的なアルゴリズム設計に新たな指針を与えます。

なぜこの問題か

生成モデルの分野では、ノイズ除去拡散確率モデル（DDPM）やスコアベースの生成モデルが、画像生成、言語モデル、科学的発見、生物学的デザインなどの多岐にわたる領域で中心的な役割を担ってきました。しかし、これらの拡散モデルは学習とサンプリングの両面で計算負荷が極めて高いという根本的な課題を抱えています。サンプリングを加速させるために、逆方向の確率微分方程式を等価な常微分方程式に書き換える手法などが提案されてきましたが、依然として効率性の抜本的な向上が求められていました。近年、フローマッチングモデルが登場し、単純な基底分布をターゲット分布へ輸送する連続的な速度場を学習することで、離散的なノイズ除去プロセスを代替する手法が注目されています。その中でもRectified Flow（RF）は、ソースサンプルとターゲットサンプルの間を直線的な軌道で結ぶという強力な幾何学的バイアスを導入しています。この構造的な制約により、RFはわずか1ステップのオイラー法で高品質な生成が可能になるなど、実用面で極めて高い効率性を示してきました。…

核心：何を提案したのか

本研究の核心は、Rectified Flowが標準的な滑らかさとサブガウス性の仮定の下で、ワッサースタイン距離におけるターゲット分布の学習において、オーダー最適な $\tilde{O}(\epsilon^{-2})$ のサンプル複雑度を達成することを初めて証明した点にあります。これは、拡散モデルや一般的なフローマッチングモデルの上限境界を劇的に改善する結果であり、RFが統計的に最適な生成モデルであることを決定づけるものです。この結果を導き出すための主要な技術的貢献として、RFの幾何学的構造と学習目的に特化した「局所ラデマッハ複雑度解析」の開発が挙げられます。…

続きはログイン/プランで閲覧できます。