最適輸送理論に基づくサンプル生成による分布外データの過剰適合抑制

TL;DR（結論）

深層学習モデルが未知のデータ（分布外データ）に対して根拠のない高い確信度を持つ「過剰適合」の問題に対し、半離散最適輸送理論の幾何学的構造を利用して、意味的に曖昧な境界領域を特定し制御する新しい学習フレームワークが提案されました。 学習データの潜在空間において、連続的な基底分布と離散的なデータ点との間の輸送写像を計算し、輸送方向が急激に変化する特異境界付近から擬似的な分布外サンプルである「OTIS」を生成して、学習時にモデルの確信度を抑制するために利用します。 この手法により、モデルの予測精度を維持したまま、未知の入力に対する過剰な自信を効果的に抑制することが可能となり、自動運転や医療診断といった安全性が重視されるオープンワールド環境におけるシステムの信頼性と安全性を大幅に向上させました。

なぜこの問題か

深層ニューラルネットワークは、画像分類などの閉鎖的な環境下では極めて高い性能を発揮しますが、学習時とは異なる分布を持つ未知のデータ（分布外データ）に対して、根拠なく高い確信度で誤った予測を行う傾向があります。この過剰適合の問題は、自動運転や医療診断といった安全性が重視される実世界のアプリケーションにおいて、システムの信頼性を著しく損なう重大なリスクとなります。従来、この問題に対処するためにテスト時に確信度スコアを用いて分布外データをフィルタリングする手法が提案されてきましたが、これらはモデルが未知の入力に対して過剰な自信を持つという根本的な性質を改善するものではありません。 より積極的な対策として、学習時に擬似的な分布外サンプルを導入して確信度を抑制する手法も存在しますが、既存のサンプルの多くはノイズの注入やデータの混合といった経験的なルールに基づいています。そのため、これらの手法は理論的な根拠に欠ける場合が多く、モデルが最も過信しやすい「意味的に曖昧な領域」を的確に捉えることができていないという課題がありました。…

核心：何を提案したのか

本研究では、半離散最適輸送における幾何学的な特異点を利用して、分布外データへの過剰適合を抑制するための新しいフレームワークを提案しています。この手法の核心は、最適輸送写像において輸送方向が不連続になる「特異境界」が、分類モデルにおける意味的な曖昧さと密接に関連しているという洞察にあります。具体的には、学習データをオートエンコーダによってコンパクトな潜在空間に写像し、そこで連続的な基底分布と離散的なデータ埋め込みの間の最適輸送問題を解きます。このプロセスにより潜在空間は凸領域に分割されますが、隣接する領域間の境界は構造的に不安定なゾーンとなり、ここから生成されるサンプルは複数のクラスの特徴を併せ持つ曖昧なものとなります。 研究チームは、この特異境界付近からサンプリングして得られたデータを「最適輸送誘導分布外サンプル（OTIS）」と定義しました。…

続きはログイン/プランで閲覧できます。