マルチモーダル学習における幾何学的正則化：分散とアンカリングによる表現の改善

要約

マルチモーダル学習では、強力な最適化を行っても表現の崩壊やモーダル間の不整合が生じることがあります。本研究は表現の幾何学的構造に着目し、軽量な正則化手法「DAGR」を提案しました。モーダル内の多様性を高める分散制御と、モーダル間の過度な乖離を防ぐアンカリングにより、頑健な学習と性能向上を実現します。

全文は有料プランで閲覧できます。