MALLOC: 大規模シーケンシャル推薦のためのメモリ効率を考慮した長文脈圧縮ベンチマーク

要約

大規模推薦モデルでは、計算コスト削減のためにユーザーの過去の振る舞いの中間状態をメモリに保存する手法が一般的だが、数十億人のユーザーを抱える実環境では膨大なメモリ容量が課題となる。本研究では、LLM分野のメモリ圧縮技術を推薦タスクに応用・評価するための包括的なベンチマーク「MALLOC」を提案し、その有用性を実証した。

全文は有料プランで閲覧できます。