Taste-Bench、エージェントの長期判断力を測定

Taste-Benchは、エージェントの実行記録（トレース）から「判断の分岐点」を取り出して作られている。同じタスクへの複数の試行が別々の方向に分かれる点や、1回の実行内で自己修正して遠回りした点が対象である。分岐点で実行を止め、その後の作業を隠したうえで、モデルに2つの方向のどちらが良いかを選ばせる。長期的な選択はその場では評価しにくいため、後の結果から良し悪しを判定する方式を採っている。 データはSWE-bench ProやMETRの公開記録MALTなど、コーディングとAI研究タスクの採点済み実行記録から作られた。生成モデルが適切な分岐点を選別し、自明な問題や判定不能な問題は除外された。人手の確認でも自動生成ラベルのほぼすべてが妥当とされた。 Claude、GPT、Grok、DeepSeek、GLM、MiniMax、Mistralの14モデルを、選択肢の順序を入れ替えて2回ずつ出題し、両方正解した場合のみ正答とした。偶然の正答率は25%で、最高はGPT-5.6 Solの59.7%、次いでGPT-5.5の59.5%だった。遠回りを伴う分岐は並列の分岐より難しかった。 決め手となる手がかりが前の段階で見えている場合、全モデル平均の正答率は62.3%だったが、手がかりが後の作業で初めて現れる場合は21%まで下がり、ほぼ当て推量の水準になった。2モデルで推論設定を3段階に変えても正答率はほとんど変わらず、最も難しい層で推論トークンを多く使いながら誤答が多かった。 著者らは、taste は訓練できるとも示した。正解の道筋を知る教師モデルの判断を、問題だけを見る生徒モデル（Qwen3.6-27Bベース）へ蒸留したところ、未見タスクの正答率は30%から47.9%に上がった。この生徒の助言を各分岐でタスク文脈に加えて別のエージェントに解かせると、SWE-bench Proの41件で成功率が14.6%から33.7%になった。完全に正しい助言なら39%だったとされる。ベンチマークとコードは公開されている。

The Decoderより