DSP-Reg：ロバストなドメイン汎化のためのドメイン考慮型パラメータ正則化

TL;DR（結論）

機械学習のドメイン汎化において、従来の特徴量レベルの不変性学習では不十分であったモデル内部のパラメータごとの感度差に着目し、ドメインシフトに対する脆弱性を定量化する新しい理論的枠組みを構築した。 共分散に基づくパラメータ感度分析を導入し、複数のソースドメイン間で感度が大きく変動する「ドメイン固有のパラメータ」を特定して適応的に抑制するソフト正則化手法「DSP-Reg」を提案することで、モデルがドメイン不変な知識に集中して学習できる仕組みを実現した。 PACSやDomainNetを含む主要なベンチマークを用いた広範な実験の結果、提案手法は未知のターゲットドメインに対して平均精度66.7%という極めて高い数値を記録し、既存の最先端手法を上回る汎化性能とロバスト性を備えていることが実証された。

なぜこの問題か

機械学習におけるドメイン汎化（DG）は、学習時に使用したデータ分布とは異なる未知のターゲットドメインに対しても、モデルが安定した予測精度を維持することを目指す極めて重要な研究課題である。この技術は、自動運転、医療画像診断、顔認識、そしてAI生成コンテンツ（AIGC）といった実世界のアプリケーションにおいて不可欠な要素となっている。実環境では、照明条件の変化、背景の違い、あるいはセンサーの特性差といったわずかな要因が大きな分布シフトを引き起こし、標準的な学習モデルの性能を著しく低下させるという深刻な問題がある。 現在提案されている多くのドメイン汎化手法は、複数のソースドメインから共通して抽出できる「ドメイン不変な特徴表現」を学習することに主眼を置いている。具体的な戦略としては、ドメイン敵対的学習を用いて特徴の区別を困難にする手法、最大平均不一致（MMD）などの統計的指標を用いて分布間の差異を最小化する手法、あるいは不変リスク最小化（IRM）によってドメイン間で一貫した予測関係を強制する手法などが挙げられる。…

核心：何を提案したのか

本論文では、モデルパラメータの感度という観点からドメイン汎化を抜本的に強化する新しい原理的なフレームワーク「DSP-Reg（Domain-Sensitive Parameter Regularization）」を提案している。この手法の根底にある洞察は、「もし特定のパラメータが異なるソースドメイン間で顕著に異なる感度を示すのであれば、そのパラメータは汎用的な知識ではなく、特定のドメインに特化した固有の特徴を学習している可能性が高い」という点にある。この直感的な仮説を理論的に裏付けるため、著者らは共分散に基づくパラメータ感度分析フレームワークを独自に構築した。 このフレームワークでは、入力データやモデルパラメータに生じる微小な摂動がネットワークを通じてどのように伝播し、最終的な出力の安定性にどのような影響を及ぼすかを定量的に評価する。…

続きはログイン/プランで閲覧できます。