Microsoft、エージェントをDB状態で採点するThinkingBoxをHugging Faceで公開

ThinkingBoxは、エージェントが生成する文章ではなく、終了時のデータベース状態と副作用を実行可能なチェックで採点する。冒頭の例では、エージェントは配送遅延の問い合わせでツールを9回正しく呼んだが、チケットを solved で閉じた。必要な最終状態は hold であり、データベースがその食い違いを示した。121,680件の有効試行を使った12モデルのアブレーションでは、失敗79,853件のうち67.24%が正常終了し、最終ツールエラーも報告していなかった。

評価では全タスクを同一の初期バックエンドから20回独立に実行し、pass@1、pass@20、観測された20/20達成数を報告する。pass@1ではClaude Opus 5.5が67.16%で首位、Kimi-K3がオープンウェイト最上位で57.37%だった。一方、20回すべて成功したタスク数はClaude Opus 5.5とClaude Opus 5がともに241で、Kimi-K3は68にとどまった。Kimi-K3は少なくとも1回解けたタスクが476件と最も広いが、一貫性は低い。

コストは成功1回あたりと、20回すべて成功したタスク1件あたりの2通りで試算している。成功1回あたりはGPT-5.6 Solが$0.127で最安だが、20/20タスク1件あたりでは$9.76になる。GPT-5.4は$6.80で最安だが、達成は128タスクにとどまる。失敗の署名では、ツール利用の問題が79.9%を占め、状態更新の誤りは10.3%だった。

実行はOpenEnvのインターフェース経由で、各エピソードは合否の二値報酬を返す。ハーネスとデータセットはHugging Faceで公開されている。コードはMIT、データはCDLA-Permissive-2.0、OpenEnv環境はBSD-3-Clauseで提供される。公開タスクはすべて合成であり、顧客も実在しない。