FrontierPhysics、AIエージェントのエンドツーエンド物理研究を評価するベンチマーク

FrontierPhysicsは、文献レビュー、研究計画、実験、論文作成までをエンドツーエンドで評価するベンチマークである。42人の物理学者が自身の研究をもとに作成した56のタスクから成り、ルールベースの検証器と専門家が作成したルーブリックで採点する。22モデル（26構成）を評価した結果、いずれの構成も168回の試行のうち46回を超えて合格しなかった。主な弱点は、物理学の知識不足や実行ミスではなく、推論の厳密さの不足と専門家的直観の限界であるとされる。