LMK > CLS：密な埋め込みのためのランドマークプーリング

要約

本研究は、従来の[CLS]トークンや平均プーリングに代わる、新しいプーリング手法「ランドマーク（LMK）プーリング」を提案します。シーケンスをチャンクに分割し、挿入したランドマークトークンの埋め込みを平均化することで、情報の偏りや希釈を防ぎます。短文検索の性能を維持しつつ、長文コンテキストの処理能力を大幅に向上させます。

全文は有料プランで閲覧できます。