LoRIF: 大規模モデルの学習データ属性特定を効率化する低ランク影響関数

要約

学習データ属性特定（TDA）におけるスケーラビリティの課題を解決する手法「LoRIF」が提案された。勾配の低ランク構造を活用し、保存容量と計算コストを大幅に削減しつつ、従来手法と同等以上の精度を実現した。これにより、数千万件のデータで学習された700億パラメータ規模のモデルでも実用的なTDAが可能になる。

全文は有料プランで閲覧できます。