リファインメントの再考：ノイズ注入を用いない生成バイアスの是正

TL;DR（結論）

拡散モデルやフローベースモデルが抱える、訓練と推論の乖離に起因する系統的な生成バイアスを、推論時のノイズ注入や多段階の再サンプリングを一切行わずに修正する新しいフレームワーク「Bi-stage Flow Refinement（BFR）」が提案されました。 この手法は、生成されたサンプルを直接修正するデータ空間リファインメント（DFR）と、潜在空間の分布をガウス事前分布に整合させる潜在空間リファインメント（LFR）の二つの戦略で構成されており、元のODE軌道を維持したまま決定論的な修正を適用します。 実験では、MNISTにおいてFIDを3.95から1.46へと劇的に改善して最先端の性能を達成したほか、CIFAR-10やFFHQ 256x256といった高次元データセットにおいても、サンプルの多様性を損なうことなく忠実度とカバレッジを一貫して向上させることが確認されました。

なぜこの問題か

拡散モデルやフローマッチングを用いた連続生成モデルは、画像合成や分子構造生成などの多様な分野で成功を収めていますが、反復的なサンプリングプロセスにおいていくつかの根本的な課題を抱えています。最大の課題の一つは、訓練時と推論時の不一致から生じる誤差の蓄積です。訓練段階では、モデルは各ステップで正解データに基づいたノイズ除去や変換を学習しますが、推論段階では自分自身が直前のステップで生成した推定値に基づいて次のステップを予測しなければなりません。この乖離は、シーケンスモデリングで研究されている「露出バイアス（exposure bias）」に似た現象を引き起こし、サンプリングの軌道が理想的な経路から徐々に逸脱していく原因となります。 また、フローマッチングにおいては、ネットワークが特定の時刻における瞬時的な導関数ではなく、すべての補間経路にわたる期待速度を予測するように訓練されるため、系統的なバイアスが生じます。特に高次元データやマルチモーダルな分布を扱う場合、異なる速度を持つ複数の軌道が同じ点を通過することがあり、モデルがそれらを平均化してしまうことで、理想的な確率フローから外れたサンプルが生成されることになります。…

核心：何を提案したのか

本論文では、事前訓練済みの生成モデルを再訓練することなく、そのバイアスを事後的に修正するための原理的なアプローチとして「Bi-stage Flow Refinement（BFR）」を提案しています。BFRの最大の特徴は、推論時にノイズを注入したり、サンプリングプロセスを何度もやり直したりすることなく、決定論的なODEの積分を通じてバイアスを修正する点にあります。このフレームワークは、生成プロセスの異なる段階で動作する二つの独立した戦略を提供しており、モデルの特性に応じて使い分けることが可能です。…

続きはログイン/プランで閲覧できます。