EntWorld：検証可能なエンタープライズGUIエージェントのための包括的環境およびベンチマーク
EntWorldは、ERPやCRMなどの複雑な業務システムを対象とした、検証可能なエンタープライズGUIエージェントのための包括的なベンチマーク環境です。従来のベンチマークが消費者向けの単純なタスクに偏っていたのに対し、本研究では6つの代表的な業務ドメインにわたる1,756個のタスクを構築し、高密度のユーザーインターフェースや厳格なビジネスロジックへの対応能力を測定します。 本環境の最大の特徴は、データベースのスキーマからビジネスロジックを逆方向に解析してタスクを自動生成するスキーマ駆動型のフレームワークと、SQLを用いた決定論的な検証メカニズムを採用している点にあります。これにより、曖昧な視覚的マッチングやLLMによる評価に頼ることなく、データベースの状態変化を直接確認することで、タスクの完了を厳密かつノイズのない形で判定することが可能となりました。 実験の結果、GPT-4.1などの最新モデルでも成功率は47.61%にとどまり、人間のパフォーマンスである85%との間に大きな乖離がある「エンタープライズ・ギャップ」が明らかになりました。独自に開発したEntAgent-RLは56.89%の成功率を達成して既存モデルを上回りましたが、依然として高密度なUIの認識や複雑な論理制約の理解には課題が残されており、専門特化型エージェントの開発の必要性が示唆されています。
