FDE-Gym：顧客向けAI導入の実務をエージェントに評価させるベンチマーク

FDE-Gymは、要件が曖昧で未提示の制約を発見する必要がある顧客向けの導入タスクでAIエージェントを評価するベンチマークである。18業界・20の顧客シナリオから集めた95件のエンドツーエンドのタスクを含み、7社の13構成を評価した結果、最良の構成でも平均スコアは0.56にとどまり、95件中14件しか解決（スコア0.8以上かつインシデントなし）できなかった。未提示の制約の発見が主なボトルネックであり、必要な情報をすべて得られた23件でも、0.8以上に達したのは10件だけだった。