GDCNet: マルチモーダル皮肉検出のための生成的差異比較ネットワーク

要約

画像とテキストのペアから皮肉を検出する新しい手法「GDCNet」の提案。マルチモーダル大規模言語モデル（MLLM）で生成した客観的な画像説明をアンカーとして利用し、元のテキストとの意味や感情のズレ（差異）を計算することで、従来手法が苦手とした関連性の薄いデータでも高精度な検出を実現し、MMSD2.0ベンチマークで最高性能を達成した。

全文は有料プランで閲覧できます。