CTR予測における長短シーケンスモデリングのバランスをとるための長さ適応型興味ネットワーク

TL;DR（結論）

既存のクリック率（CTR）予測モデルにおいて、入力可能な行動履歴の長さを拡張すると、長期履歴を持つユーザーの精度は向上する一方で、短期履歴しか持たないユーザーの精度が逆に低下するという「長さの不均衡」による弊害が生じていることを明らかにした。 この問題に対し、ユーザーの履歴の長さをモデルの挙動を制御するための明示的な条件信号として活用する軽量なフレームワーク「LAIN」を提案し、長さ情報を連続的なベクトルに変換するエンコーダーや、長さに応じてアテンションの集中度を動的に変化させる仕組みを開発した。 3つの大規模な実データセットを用いた実験の結果、LAINを導入することで既存の主要なモデルの性能を一貫して底上げし、特に短期履歴ユーザーに対して最大1.15%のAUC向上と2.25%のログロス削減を達成し、システム全体の予測精度と公平性の両立を実現した。

なぜこの問題か

現代のパーソナライズされた推薦システムやオンライン広告において、ユーザーの過去の行動履歴から興味を抽出してクリック率（CTR）を予測する技術は、サービスの質を左右する極めて重要な要素である。ユーザーの活動が活発化し、蓄積されるデータ量が増大する中で、数千件規模の長期的な履歴を扱うモデルが次々と開発され、実用化されてきた。しかし、本論文の著者らは、これらの長期シーケンスモデルを運用する過程で、直感に反する深刻な現象を発見した。それは、モデルが扱える最大履歴長を長く設定すればするほど、長期履歴を持つユーザーの予測精度は向上するものの、短期履歴しか持たないユーザーの精度が著しく低下するという現象である。この「長さの不均衡」問題は、プラットフォームの成長を支える新規ユーザーや低活動ユーザーの体験を損なうため、看過できない課題となっている。 この問題の背景には、データとモデルの両面における不均衡が存在している。…

核心：何を提案したのか

本論文では、ユーザーの行動履歴の長さを明示的な「条件信号」としてモデルに取り入れ、長短両方のシーケンスモデリングを調和させるための軽量かつ汎用的なフレームワーク「LAIN（Length-Adaptive Interest Network）」を提案している。LAINの最大の特徴は、特定のモデル構造に依存せず、既存の様々なCTR予測モデルに後付けで組み込むことが可能な「プラグアンドプレイ」な設計である点にある。このフレームワークは、モデルがユーザーの履歴の長さを単なる統計量としてではなく、ユーザーの現在のライフサイクルや興味の多様性を反映するコンテキストとして認識し、それに応じて自身の挙動を動的に変化させることを可能にする。 LAINは主に3つの軽量なコンポーネントで構成されている。…

続きはログイン/プランで閲覧できます。