LMK > CLS: 高密度埋め込みのためのランドマークプーリング
TL;DR本研究は、従来の[CLS]や平均プーリングの弱点を克服する「ランドマーク（LMK）プーリング」を提案します。文章をチャンクに分割し、挿入した特殊トークンの埋め込みを平均化することで、局所的な特徴を維持しつつ長文の文脈理解を向上させます。
Cog AI Archive
最新の記事
人気記事ピックアップ
RedSage: サイバーセキュリティに特化した汎用LLM
TL;DRRedSageは、プライバシーリスクを回避しつつ多様なセキュリティ業務を支援するために開発された、オープンソースのサイバーセキュリティ特化型LLMである。118億トークンの専門データによる事前学習と、エージェントベースのパイプラインで生成された26.6万件の指示データによる調整を経て、既存モデルを上回る性能を実現した。
MURAD: 大規模な多領域統合型アラビア語逆引き辞書データセット
TL;DRアラビア語の語彙と定義を紐付けた大規模データセット「MURAD」が公開されました。信頼できる出典から抽出された96,243組の単語と定義のペアを含み、言語学やイスラム研究、科学、工学など幅広い分野を網羅しています。逆引き辞書の構築や意味検索、教育ツールの開発など、アラビア語の自然言語処理研究を促進するリソースです。
MURAD：大規模かつ多領域を統合したアラビア語逆引き辞書データセット
TL;DRMURADは、96,243組の単語と定義のペアを含む、アラビア語の大規模な公開語彙データセットです。信頼できる参考文献や教育資料から、言語学、イスラム研究、数学、工学など多岐にわたる分野の用語を収集しています。逆引き辞書の構築や意味検索、教育ツールの開発を支援し、アラビア語の自然言語処理の発展を目指しています。
Less is More: 大規模言語モデルによる推薦エージェントのベンチマーク
TL;DR大規模言語モデル（LLM）を用いた商品推薦において、「ユーザーの購入履歴が長いほど予測精度が上がる」という通説を検証した研究。GPT-4o-miniやDeepSeek-V3など4つのLLMで実験した結果、履歴を5件から50件に増やしても品質に有意な差は見られなかった。履歴を短くすることで、推薦品質を維持しつつ推論コストを約88%削減可能であることが示された。
1単語で検索順位を操る：ニューラルテキストランキングに対する最小限の敵対的攻撃
TL;DRニューラルランキングモデル（NRM）の高い検索性能に対し、本研究はその脆弱性を再検証しました。たった1単語の挿入や置換という最小限の変更で特定の文書の順位を上げる攻撃手法を提案。TREC-DLデータセットでの実験では、平均2トークン未満の修正で最大91%の攻撃成功率を達成し、NRMの実用上のリスクを明らかにしました。
MALLOC: 大規模シーケンシャル推薦のためのメモリ効率を考慮した長文脈圧縮ベンチマーク
TL;DR大規模推薦モデルでは、計算コスト削減のためにユーザーの過去の振る舞いの中間状態をメモリに保存する手法が一般的だが、数十億人のユーザーを抱える実環境では膨大なメモリ容量が課題となる。本研究では、LLM分野のメモリ圧縮技術を推薦タスクに応用・評価するための包括的なベンチマーク「MALLOC」を提案し、その有用性を実証した。
検索システムフレームワークの分類学：その落とし穴とパラダイム
TL;DR埋め込み検索システムの設計における複雑なトレードオフを整理した研究です。表現、粒度、オーケストレーション、堅牢性の4つの層に分け、Bi-encoder等のモデル選択からチャンク分割、再ランク付けパイプライン、ドメイン適応までを体系化し、現代のニューラル検索システム最適化のための包括的な枠組みを提案しています。
中間を見よ：スケーラブルなVisual RAGインデクシングのための構造的アンカープルーニング
TL;DR近年の視覚言語モデルは高精度な画像文書検索（VDR）を実現しましたが、インデックスサイズが巨大になる問題があります。本研究では、追加学習なしでインデックスサイズを90%以上削減可能な「Structural Anchor Pruning (SAP)」を提案しました。中間層から重要な視覚パッチを特定することで、高い検索精度。
反復的RAGが理想的な根拠情報を凌駕するとき：科学分野におけるマルチホップ質問応答の診断的研究
TL;DR科学領域における複雑なマルチホップ推論において、反復的なRAG（検索拡張生成）が、理想的な全証拠を一度に与える静的なRAGを上回る条件を調査した研究。化学分野のデータセットを用いた実験の結果、反復的RAGは文脈過多の緩和や初期の仮説修正を可能にし、最大25.6ポイントの性能向上を実現することが示された。
対話型推薦における長期的ユーザー満足度のためのLLM強化型強化学習
TL;DR対話型推薦システムの課題である「フィルターバブル」や短期的な嗜好への過適合を解決するため、大規模言語モデル（LLM）と強化学習（RL）を融合した階層型フレームワーク「LERL」を提案。LLMが多様なカテゴリを計画し、RLがその中で個別のアイテムを推薦することで、長期的なユーザー満足度を大幅に向上させました。
保存済みの記事がまだありません。
読み込み中…