ウェブエージェントは見た目に左右されるか？UIデザイン要因の包括的評価

TL;DR（結論）

本研究は、視覚と言語を統合したVLMベースのウェブエージェントが、ウェブページ上の視覚的属性（色、サイズ、配置など）からどのような影響を受けて意思決定を行うかを定量的に評価するパイプライン「VAF」を提案しました。 検証の結果、エージェントは背景色のコントラスト、要素のサイズ、ページ内の配置、およびカード全体の鮮明さに強く反応してクリック行動を変化させる一方で、フォントの種類やテキストの色、画像のみの鮮明さにはほとんど影響を受けないことが判明しました。 エージェントは人間と同様に視覚的な目立ちやすさを重要視する傾向があり、特定のデザイン変更によってターゲット項目のクリック率が大幅に変動するため、信頼性の高いエージェント構築にはこれらの視覚的バイアスの理解が不可欠であると結論付けています。

なぜこの問題か

近年、視覚と言語を同時に処理できるマルチモーダルな大規模言語モデル（VLM）を基盤としたウェブエージェントが、オンラインショッピング、旅行予約、ニュース閲覧といった複雑なタスクにおいて高い性能を発揮しています。これらのエージェントは、レンダリングされたスクリーンショットを通じてウェブページのレイアウトや色、視覚的な目立ちやすさを解釈し、人間のように操作することが可能です。しかし、これまでの研究の多くは、悪意のある攻撃に対する堅牢性の評価に集中しており、攻撃のない通常の「良性なシナリオ」においてエージェントがどのような視覚的嗜好を持っているかについては十分に解明されていませんでした。 人間を対象とした従来のヒューマンコンピュータインタラクション（HCI）や認知心理学の研究では、色のコントラストや要素のサイズが注意を引きつけ、意思決定を大きく左右することが長年知られています。例えば、人間は中央付近の要素に注目しやすく、鮮やかな色や大きな要素を優先的に選択する傾向があります。一方で、AIエージェントが人間と同じような知覚的バイアスを持っているのか、あるいはテキスト情報のみを純粋に重視しているのかは不明なままでした。…

核心：何を提案したのか

本研究は、ウェブページの視覚的属性要因がウェブエージェントの意思決定に与える影響を精密に定量化するための制御された評価パイプライン「VAF（Visual Attribute Factors）」を提案しました。VAFの最大の特徴は、実際のウェブサイトから取得したHTMLスナップショットを基に、ターゲットとなる項目の意味内容（テキスト情報や機能）を完全に維持したまま、視覚的な外見だけをCSSによって変更したバリエーションを生成する点にあります。これにより、エージェントの行動変化がテキストの違いではなく、純粋に視覚的な属性の変化に起因するものであることを科学的に特定できる仕組みを実現しました。…

続きはログイン/プランで閲覧できます。