CloudOpsBench公開、AIエージェントのクラウド運用力を評価

ミシガン大学のAng Chen率いるチームが、クラウド運用のDevOpsタスクでAIエージェントを評価するオープンソースのベンチマーク「CloudOpsBench」v1.0を公開し、最上位モデルでも多くのタスクで失敗すると報告した。最良のClaude Fable 5.1はAWS上の課題の60%を解決し、GPT-6 Astraは53%だった。失敗の約80%はタスク範囲の誤判断、関連サービスの確認漏れ、早期終了といった推論上の問題によるもので、誤操作は約20%だった。

The Decoderより

推移を表示するための継続的な観測データがまだ足りません。