スコアベース生成モデルの忘却と安定性について

TL;DR（結論）

スコアベース生成モデル（SGM）のサンプリング過程における安定性と長期的な挙動を、逆時間ダイナミクスに関連するマルコフ連鎖の「忘却性」という観点から理論的に解明しました。具体的には、ハリスの安定性理論に基づき、リアプノフ・ドリフト条件とデブリン型のマイノリゼーション条件という2つの構造的特性を用いることで、初期化誤差や離散化誤差がサンプリングの軌道に沿ってどのように伝播するかを定量的に制限する枠組みを提案しています。この研究の結果、逆拡散ダイナミクスがサンプリング軌道に沿って収縮メカニズムを誘発することが示され、強凸性などの厳しい仮定を置かずに、非凸でマルチモーダルなデータ分布に対してもサンプリング手順の定量的な安定性を保証することが可能になりました。

なぜこの問題か

現代の機械学習において、スコアベース生成モデル（SGM）は高次元の生成モデリングのための柔軟な枠組みとして台頭し、幅広い実用的な問題で顕著な成功を収めています。これらのモデルは、デノイジング拡散確率モデル（DDPM）やスコアマッチング技術に根ざしており、単純な参照分布を複雑なターゲット分布へと変換する確率的なサンプラーとして解釈されます。しかし、これらのモデルが生成するサンプリング手順の安定性や収束性に関する理論的な解析は、依然として現代の機械学習における根本的な課題として残されています。既存の研究では、ターゲットとなるデータ分布に対して、対数凹性や有界なサポート、あるいはスコア関数の強い正則性といった非常に厳しい仮定を置くことが一般的でした。このような制約は、現実世界の複雑で非凸なデータ分布や、複数のモードを持つマルチモーダルな分布を扱う際には必ずしも適合しないという問題があります。 また、初期化時のバイアスやスコアの近似誤差、そして連続的なダイナミクスをコンピュータで扱うための離散化誤差が、サンプリングの過程でどのように累積し、最終的な生成結果に影響を与えるのかを正確に把握することは困難でした。…

核心：何を提案したのか

本研究の核心は、マルコフ過程の安定性を扱う古典的な「ハリス理論（Harris theory）」の枠組みをスコアベース生成モデルの解析に導入した点にあります。具体的には、逆時間マルコフ連鎖が備えるべき2つの主要な構造的特性を特定し、それらがサンプリング誤差の伝播を抑制するメカニズムを数学的に証明しました。第一の特性は「リアプノフ・ドリフト条件」であり、これはダイナミクスの軌道が状態空間の中心領域へと引き戻されることを保証し、軌道が無限遠へと発散することを防ぐ役割を果たします。第二の特性は「局所的なデブリン型マイノリゼーション条件」であり、プロセスが特定の領域を訪れた際に十分な混合（ミキシング）が行われることを保証するものです。…

続きはログイン/プランで閲覧できます。