Stake the Points：意味アンカーで保持知識の構造を守るインスタンス単位機械アンラーニング

TL;DR（結論）

• 機械アンラーニングでは、消したいデータの影響だけを抜こうとしても、保持すべきデータ同士の意味関係まで崩れると、削除と性能維持の両立が一気に難しくなります。
• 提案手法 STRUCTGUARD は、言語から作った意味アンカーを基準点として使い、保持データとアンカーの相対関係を保つ alignment と、構造に重要な重みの更新を抑える regularization を組み合わせます。
• 画像分類、顔認識、画像検索で、既存法より削除と保持のバランスが大きく改善し、分類では平均 32.9%、検索で 22.5%、顔認識で 19.3% の性能改善が報告されています。

なぜこの問題か

機械アンラーニングの目的は、学習済みモデルから特定データの影響だけを取り除くことです。個人情報保護や削除請求への対応を考えると、すでに配備済みの大規模モデルに対して「この人の写真だけ忘れてほしい」「このサンプルだけ消したい」といった要求が増えるのは自然です。単純に最初から再学習し直せば確実ですが、元データを再度集められないことも多く、計算コストも高すぎます。そのため、元モデルと忘却対象だけを使って近似的に忘れさせる方法が主流になっています。

核心：何を提案したのか

提案の中心は、構造保持を明示的に目的化した instance-level unlearning 手法 STRUCTGUARD です。発想は単純で、保持データを互いに直接結び付けて守ろうとすると retention set そのものが必要になってしまうため、代わりに semantic anchors を基準点として置き、各保持サンプルがそれらアンカーとどういう関係にあったかを保とう、というものです。論文タイトルの Stake the Points は、保持サンプルを杭で地面に留めるように、意味的な基準点に結び付けて漂流を防ぐイメージから来ています。

続きはログイン/プランで閲覧できます。