エージェント向けモデルルーティングは単純ではない

エージェント向けのモデルルーティングは、モデル選択の分類問題ではなく、コスト・品質・遅延を同時に最適化するシステム最適化問題として扱うべきだと論じる。AppWorld Test Challengeの417タスクでは、同じCodeActエージェントによる総コストがSonnetの79ドル（1タスク0.19ドル）に対しGPT-4.1は155ドル（同0.37ドル）と約2倍になり、キャッシュの効き方が単価の差を覆した。提案するルーターの構成1は、Opus単独と比べてコストを21%、遅延を9%削減し、精度低下は4%にとどめて84%を達成した。