アダプタベースの連合大規模言語モデルからの学習データの復元

要約

アダプターベースの連合大規模言語モデル（FedLLM）は、計算コスト削減とプライバシー保護を両立すると考えられてきましたが、本研究はその前提を覆します。低ランクアダプター特有の構造を利用した新たな攻撃手法「UTR」を提案し、大規模なバッチサイズ設定下でも訓練データをほぼ完全に再構築できることを実証しました。

全文は有料プランで閲覧できます。