視覚トークン圧縮下における大規模視覚言語モデルの敵対的堅牢性について

要約

大規模視覚言語モデルの高速化に用いられる視覚トークン圧縮が、敵対的攻撃への耐性に与える影響を調査した研究です。従来の攻撃手法は圧縮工程を考慮していないため、モデルの堅牢性を過大評価する傾向があります。提案手法のCAGEは、圧縮後の推論プロセスに最適化を合わせることで、効率的なモデルに対するより正確なセキュリティ評価を可能にします。

全文は有料プランで閲覧できます。