アテンションパターンが存在する理由：統一的な時間的視点による分析

要約

大型言語モデルにおける多様なアテンションパターンを統一的に説明するフレームワーク「TAPPA」を提案する研究です。時間的に連続した視点から数理的に分析することで、パターンを予測可能と予測不能なものに分類し、その違いがクエリの自己類似性に起因することを明らかにしました。推論加速への応用も実証されています。

全文は有料プランで閲覧できます。