LMK > CLS: 高密度埋め込みのためのランドマークプーリング

要約

本研究は、従来の[CLS]や平均プーリングの弱点を克服する「ランドマーク（LMK）プーリング」を提案します。文章をチャンクに分割し、挿入した特殊トークンの埋め込みを平均化することで、局所的な特徴を維持しつつ長文の文脈理解を向上させます。短文検索の精度を保ちながら長文タスクで大幅な改善を実現する、実用的で拡張性の高い手法です。

全文は有料プランで閲覧できます。