IntentRL：強化学習によるオープンエンドな深いリサーチのための能動的なユーザー意図エージェントの学習

TL;DR（結論）

ディープリサーチ（DR）エージェントが曖昧な指示で長時間実行されることで生じる計算資源の浪費とユーザーの不満足という「自律性と対話のジレンマ」を解決するため、実行前に潜在的な意図を能動的に確認するフレームワーク「IntentRL」が提案されました。 わずかなシードデータから高品質な対話データを生成する「C-DAG」パイプラインと、オフライン学習で基礎を築きオンラインシミュレーションで適応力を高める「2段階強化学習（RL）」戦略を組み合わせることで、オープンエンドなリサーチにおける意図把握の精度を大幅に向上させています。 検証の結果、IntentRLは既存の商用DRエージェントの意図確認機能を凌駕する性能を示し、さらに下流のDRエージェントの能力が高いほど意図確認による性能向上の恩恵が大きくなるという「スケーリング効果」が確認され、自律型エージェントの新たな学習指針を提示しました。

なぜこの問題か

大規模言語モデル（LLM）を基盤としたディープリサーチ（DR）エージェントは、ウェブ上の膨大な情報から証拠を収集・合成し、専門家レベルの長文レポートを作成する能力を持っています。しかし、この高度な自律性は「自律性と対話のジレンマ」という深刻な課題を引き起こします。通常のリアルタイムなチャットボットであれば、ユーザーの意図を誤解しても即座に修正が可能ですが、DRタスクはブラウジングや読解に数十分を要する長時間の実行プロセスを伴います。曖昧なクエリに対してエージェントが確認なしに自律実行を開始すると、膨大な計算資源と時間を浪費した挙句、ユーザーの期待に沿わないレポートが出力されることになります。 この問題の根本には、ユーザーが発する明示的なクエリと、その背後にある潜在的な意図との間に存在する「情報のギャップ」があります。例えば「ディープリサーチエージェントについてのレポートを作成して」という単純な指示であっても、ユーザーが技術的な詳細（メモリ、ベースモデル等）を求めているのか、あるいは特定の業界（金融、医療等）への応用事例を求めているのかは不明確です。…

核心：何を提案したのか

本研究では、オープンエンドなディープリサーチにおいてユーザーの潜在的な意図を能動的に明確化するエージェントを学習するためのフレームワーク「IntentRL」を提案しています。この提案の核心は、データ不足の解消と、現実的な対話ダイナミクスのモデル化という二つの大きな課題を同時に解決する点にあります。 まず、オープンエンドなタスクにおける意図把握の学習データを体系的に構築するため、少数のシードサンプルから大規模な対話データを生成する「C-DAG（Clarification Directed Acyclic Graph）」パイプラインを導入しました。…

続きはログイン/プランで閲覧できます。