アダプタベースの連合大規模言語モデルからの学習データの復元
TL;DRアダプターベースの連合大規模言語モデル（FedLLM）は、計算コスト削減とプライバシー保護を両立すると考えられてきましたが、本研究はその前提を覆します。低ランクアダプター特有の構造を利用した新たな攻撃手法「UTR」を提案し、大規模なバッチサイズ設定下でも訓練データをほぼ完全に再構築できることを実証しました。
Cog AI Archive
最新の記事
人気記事ピックアップ
RedSage: サイバーセキュリティに特化した汎用LLM
TL;DRRedSageは、プライバシーリスクを回避しつつ多様なセキュリティ業務を支援するために開発された、オープンソースのサイバーセキュリティ特化型LLMである。118億トークンの専門データによる事前学習と、エージェントベースのパイプラインで生成された26.6万件の指示データによる調整を経て、既存モデルを上回る性能を実現した。
保存済みの記事がまだありません。
読み込み中…