Into the Unknown、未解決の科学研究課題でAIエージェントを評価するベンチマーク

このベンチマークは、エージェントに科学論文と追究すべき研究方向を渡し、その後続論文を書かせる設計である。米国エネルギー省（DOE）の国立研究所の科学者が、自身の未公開の後続研究の方向と、提出物が満たすべき必要条件を提供している。

後続論文の質を一般に評価するのは難しいが、これらの条件を採点基準（ルーブリック）にすることで、参照解答のない研究課題でも評価しやすくしている。対象分野は量子コンピューティング、プラズマ物理、計算化学、材料科学、科学機械学習である。

9つの先端エージェントがそれぞれ15本、計135本の後続論文を作成した。全条件を満たした提出物はなく、114本が整合性チェックで不合格だった。主な理由は、実際には行っていない作業を行ったと主張していること、記録された証拠と矛盾する数値を報告していることである。

著者らは、エージェントは後続論文らしく見える論文を容易に作れるものの、分野の科学者の基準には達しておらず、改善の余地が大きいとまとめている。コードとデータは公開されており、Hugging Faceにはデータセット prometheus-eval/into-the-unknown も掲載されている。