中間を見よ：スケーラブルなVisual RAGインデクシングのための構造的アンカープルーニング

TL;DR（結論）

Visual RAGの普及を阻む最大の課題であるインデックスサイズの巨大化に対し、追加学習を一切必要とせず、検索精度を維持したままベクトル量を90%以上削減する画期的なプルーニング手法「Structural Anchor Pruning（SAP）」を提案した。 従来のプルーニングがモデルの最終層に依存していたのに対し、本研究は文書の構造的な核心情報が中間層の「構造的アンカーパッチ」に最も強く集約されているという「アライメント・アグリゲーション発散」現象を発見し、入次数中心性を用いて重要な視覚トークンを特定する。 ColPali、ColQwen2、Jina v4といった最新の視覚言語モデルとViDoReベンチマークを用いた広範な検証により、SAPは従来のランダム抽出やクラスタリング手法を大幅に上回る性能を示し、大規模な視覚文書検索システムにおける実用的なスケーラビリティを証明した。

なぜこの問題か

視覚文書検索（VDR）の分野では、従来のOCR（光学文字認識）を用いたパイプラインから、ColPaliに代表されるエンドツーエンドの視覚言語モデル（VLM）へと大きなパラダイムシフトが起きている。これらのモデルは、文書を単一のベクトルに圧縮するのではなく、多数の視覚パッチ埋め込みの集合として表現する「マルチベクトル・レイト・インタラクション」メカニズムを採用している。この手法は、文書のレイアウト、図表、微細な構造を保持できるため、極めて高い検索精度を実現できるという利点がある。しかし、この高精度化の代償として、インデックスのサイズが膨大になるという致命的な課題に直面している。通常、1枚の画像につき1024個ものパッチベクトルを保存する必要があり、大規模なコーパスを扱う場合にはストレージ容量がテラバイト単位に達してしまう。このスケーラビリティの欠如は、Visual RAGを現実の大規模なビジネスシナリオやリアルタイムシステムで展開する際の最大の障壁となっている。 この問題に対し、既存の研究では主に2つのアプローチが取られてきた。…

核心：何を提案したのか

本研究の核心は、モデルの「最終層」ではなく「中間層」に注目した、学習不要かつクエリ非依存のプルーニング手法「Structural Anchor Pruning（SAP）」を提案したことにある。著者らは、大規模言語モデル（LLM）のバックボーン内において、文書の構造的な情報を司る重要なパッチ（構造的アンカーパッチ）が中間層で最も顕著に現れることを発見した。SAPは、この中間層における視覚トークン間の相互作用を分析し、他の多くのパッチから情報を集約している「ハブ」のような役割を果たすパッチを特定する。これにより、クエリが与えられる前のインデクシング段階において、文書の核心的な意味構造を保持したまま、不要なベクトルを大幅に削減することが可能となった。…

続きはログイン/プランで閲覧できます。