FIT: 継続的なLLMアンラーニングにおける破滅的忘却の克服

要約

大規模言語モデルにおける継続的かつ大量の削除要求に対応するため、新フレームワーク「FIT」が提案されました。厳格なデータフィルタリング、重要度を考慮した更新、ターゲット層の特定により、モデルの性能低下や破滅的忘却を抑制します。新たなベンチマークPCHを用いた実験では、高い忘却性能と実用性の維持を両立することが示されました。

全文は有料プランで閲覧できます。