SONIC: KVキャッシュ圧縮のためのセグメント最適化ネクサス

要約

LLMの多対話においてKVキャッシュの増大は課題です。本論文は、過去のセグメントを「Nexus」トークンへ圧縮する学習ベースのフレームワーク「SONIC」を提案しました。動的予算トレーニングにより、再学習なしでメモリ制約に適応可能です。既存手法を上回る性能を示し、推論速度を50.1%向上させることに成功しました。

全文は有料プランで閲覧できます。