AIエージェントの評価を「vibe check」から脱却させる方法

AIエージェントは、ループやトークンの過剰消費、もっともらしいが誤った回答をしても見た目には問題なく見えるため、目視確認（vibe check）では不具合を捉えられないとしている。対策として、重要なユーザージャーニー（CUJ）を評価の基準にし、シミュレートされたユーザーでゴールデンデータセットを作成して、本番トレースに順次置き換える方法を示す。評価はユニットテスト、決定的メトリクス、LLM-as-a-judge、統合テストの4層で行い、judgeの採点は可能な限り1〜5段階ではなく合否の二値判定にすることを勧めている。