IBM Research、エージェントの一貫性を高めるconsistency guidelinesをALTK-Evolveに追加

多くのベンチマークは複数回実行の平均であるMean@kを報告するが、同じ依頼をもう一度したときに成功するかは分からない。そこでk回すべて成功したタスクの割合であるPass^kを使い、Mean@kとの差を一貫性ギャップと呼んでいる。AppWorld test_normalでReAct（GPT-4.1）を温度0.0で動かすと、難易度が上がるほど差が広がり、難しいタスクでは約30ポイントに達した。

原因として、エージェントの各判断は次トークンの確率分布から出ており、分布が平坦だと僅差の候補が小さな揺らぎで入れ替わる点を挙げている。GPUの浮動小数点演算やリクエストのバッチ処理といったプラットフォーム側の影響があり、貪欲デコーディングや固定シードでも防げない。判断が連鎖するため、ステップごとの小さな反転確率が積み重なって実行結果の違いになる。

Consistency Analyzerは、記録済みの軌跡1本を使い、各判断ステップで1回の追加モデル呼び出しによりk個（既定はk=5）の候補を生成して出力のばらつきを測る。環境への新たなツール呼び出しやタスクの再実行は不要で、正解データもロジットも要らないブラックボックス方式である。ばらつきの大きいステップごとにガイドライン候補が作られ、ALTK-Evolveの既存形式で保存・検索される。例として、ノートのチェックボックス記号を数える際は行頭に固定した正規表現を使う、というガイドラインが示されている。

168タスクの評価では、1本のベースライン軌跡から生成したガイドラインを5回の新規実行で検証した。Pass^5は53.0%から69.0%、Mean@5は77.4%から81.0%になり、ギャップは24.4ポイントから12.0ポイントに縮んだ。MediumとHardの改善が大きく、Mean@5はどの難易度でも下がっていない。同じシナリオの類似タスクでもPass^5は13.0ポイント上がった。gpt-oss-120bでは同一タスクで10.1%から16.1%に上がり、類似タスクの改善幅は8.7ポイントだった。

実装はオープンソースのaltk-evolveリポジトリに含まれ、詳細な手法はarXivの技術レポートで公開されている。著者らはPass^kをMean@kと併記することや、一貫性は能力と別の軸であることを挙げている。