ReviewBench：AIコードレビュー向けのオープンなベンチマーク

GitHubがAIコードレビューのオフラインベンチマーク「ReviewBench」を公開し、現在利用可能である。GitHub上の103.9M件のPRの分布に基づき、19言語・219件の公開PRで構成し、人間のレビュアー、フロンティアLLM、静的解析によるゴールデンセットを用いる。上級エンジニアによる独立検証で96.6%の一致を示し、Copilot code reviewのオフライン評価も本番実験の方向を予測しやすくなった。