生成モデリングのための距離マーチング

TL;DR（結論）

DISTANCEMARCHINGは、コンピュータグラフィックスの距離場モデリングに着想を得た、時間条件を必要としない新しい生成モデルの枠組みである。従来のモデルが抱えていた「同じノイズ入力に対して複数のノイズレベルや方向が対応してしまう」という曖昧さを、近いターゲットを優先的に学習する設計によって解決している。 本手法は、距離の大きさを予測するスカラー場と方向を予測するベクトル場を学習し、推論時には勾配降下法やスフィアトレーシングを用いた適応的な更新を可能にする。これにより、CIFAR-10やImageNetにおいて従来のモデルをFIDで13.5%改善し、クラス条件付き生成でもフローマッチングを上回る性能を達成した。 時間入力を排除しながらも、フローマッチングの最終的なFIDをわずか60%のサンプリングステップで超える効率性を持ち、バックボーンのサイズを問わず平均13.6%の精度向上を実現している。さらに、予測された距離情報はサンプリングの早期停止や分布外データの検出にも応用可能であり、生成モデリングの新たな基盤となる可能性を示した。

なぜこの問題か

近年の生成モデリングの進歩は、拡散モデルやフローベースのアプローチによって牽引されており、これらはノイズをデータ多様体へと輸送するデノイジングベクトル場を学習する。しかし、高品質で高速なサンプリングを実現するためには、通常、明示的な時間条件付けや、密接に結合されたスケジュールおよびパラメータ化に依存する必要がある。明示的な時間条件を排除することは、手法を簡素化し、柔軟なデノイジングタスクを可能にする一方で、画像品質の低下やトレーニングの不安定さを招くことがこれまでの研究で示されている。この問題の核心は、時間条件を取り除くと、同じノイズ入力が複数のノイズレベルや異なるデノイジング方向から発生し得るため、デノイジングのターゲットが根本的に曖昧になることにある。 標準的なデノイジングの目的関数では、最適化プロセスがこれらの互換性のないターゲットを平均化してしまい、結果としてデータ多様体を指し示す方向から逸脱してしまう。経験的にも、単純な時間ベースの再重み付けではこの曖昧さを解決できず、条件付き生成においては訓練と推論のミスマッチがさらに増幅されることが判明している。…

核心：何を提案したのか

本研究では、コンピュータグラフィックスにおける表面再構成やレンダリングに用いられる距離場ベースの手法から着想を得た、DISTANCEMARCHING（距離マーチング）を提案する。画像生成と距離場モデリングには、周囲の空間に埋め込まれた低次元構造を推論し、点をその構造に向かって移動させるという共通点がある。この関連性に基づき、現在の位置のみに依存するニューラルネットワークを訓練するための距離場由来の損失関数を導入し、生成プロセスを明示的な時間条件から切り離すことに成功した。…

続きはログイン/プランで閲覧できます。