SteerEval: 自然言語プロファイルを用いた推薦システムの操作性評価フレームワーク

TL;DR（結論）

自然言語プロファイルを用いた推薦システムは、ユーザーが自分の好みをテキストで直接編集できるため、従来の数値ベクトル形式よりも高い透明性と操作性を提供しますが、これまでの評価は映画のジャンルなどの限定的な属性に留まっており、多様な要求への対応力は不明でした。 本研究では、ジャンルから特定の不快な表現（トリガー）の回避まで、広範かつ詳細な操作トピックを網羅した評価フレームワーク「SteerEval」を提案し、大規模言語モデル（LLM）を用いた推薦手法がユーザーの指示をどの程度正確に反映できるかを多角的に検証しました。 検証の結果、LLMによるスコアリング手法は「増やす」「減らす」の両方の指示に高い精度で応えられる一方で、埋め込みベクトルの類似度に基づく手法は否定的な指示を理解できず、またモデルの知識不足や安全制限が操作の成否に影響を与えることが明らかになりました。

なぜこの問題か

現代の推薦システムにおいて、大規模言語モデル（LLM）を活用してユーザーの好みを自然言語のテキストで表現する「自然言語プロファイル」が大きな注目を集めています。従来の推薦システムでは、ユーザーやアイテムの特性を人間には解釈不可能な数値ベクトルとして表現していましたが、自然言語プロファイルを用いることで、システムがユーザーをどのように理解しているかを人間が直接読み、解釈し、必要に応じて修正することが可能になります。この「操作性（Steerability）」は、ユーザーが自分の好みを明示的に伝え、推薦結果を意図した方向へ導くための極めて重要な機能です。しかし、これまでの操作性に関する評価は、映画のジャンル（アクション、コメディ、ミステリーなど）といった、メタデータとして明確に定義されている少数の属性に限定されていました。 現実のユーザーが推薦システムを操作したいと考える動機は、単なるジャンルの選択よりもはるかに多様で複雑です。…

核心：何を提案したのか

本研究では、自然言語プロファイルを用いた推薦システムの操作性を測定するための包括的な評価フレームワークおよびベンチマークである「SteerEval」を提案しました。このフレームワークは、ユーザーが特定のトピックに対して「関心を高める（Increase）」指示と「関心を下げる（Decrease）」指示の両方を行い、それに対して推薦システムが適切にランキングを更新できるかを評価するように設計されています。SteerEvalの核心は、多様な操作トピックを含むベンチマークデータセットにあります。具体的には、従来の「ジャンル」に加えて、クラウドソーシングによって収集された映画のセンシティブな内容に関する警告情報（トリガー警告）を活用しています。…

続きはログイン/プランで閲覧できます。