GMS-CAVP：マルチスケールの対照学習および生成的事前学習による視聴覚対応の改善

要約

音と映像（V-A）の理解と生成において、従来手法では不十分だったマルチスケールな構造のモデル化を改善する「GMS-CAVP」が提案されました。この手法は、対照学習による詳細な位置合わせと、拡散モデルを用いた生成学習を組み合わせることで、音と映像のクロスモーダルな理解と生成の両方で従来手法を上回る性能を示しました。

全文は有料プランで閲覧できます。