LogitsからLatentsへ：LLMアンラーニングのための対照的表現シェーピング

要約

LLMのアンラーニングにおいて、従来の手法は予測空間での調整に留まり、忘却対象の概念が内部表現に残存する問題があった。本研究では、対照的表現正則化手法「CLReg」を提案する。CLRegは忘却対象の特徴を特定し、保持すべき知識から分離することで、表現空間での絡み合いを解消し、より効果的なアンラーニングを実現する。

全文は有料プランで閲覧できます。