LLMのような予測モデルを用いた圧縮は高性能ですが、エンコーダとデコーダ間の出力分布の不一致(非決定性)に弱いという課題があります。本研究では、構造化された任意の大きさの予測ミスマッチに対して堅牢な、次のトークン予測に基づく新しい圧縮アルゴリズムを提案し、その正当性と性能を実証しました。
全文は有料プランで閲覧できます。
Unlock
Pro
Proなら長文回答とスレッド保存で、論文ごとの知識DBを作れます。
Related