Hugging Face Daily Papers·· 5 日前AIスコア43
PhysClosureBench、AIエージェントの物理研究の完結度を評価
From Research Goals to Scientific Closure: Evaluating Agents Through Evidence-Supported Physics Research
AIによる概要
AIエージェントは物理研究で局所的な科学的成果を出すものの、研究課題を完全に解決するまでには至らないことを、専門家が検証した50タスクのベンチマーク「PhysClosureBench」が示した。最も高い平均Atomic Scoreを記録したClaude-Opus-5は6.29/10だったが、RC4に到達したのは試行の32.7%にとどまった。Atomic Scoreが8/10以上の試行でも36.2%はRC4に届かず、局所的な成果と研究の完結との間に持続的なギャップがあることが示された。
出典: Hugging Face Daily Papers · huggingface.co