LLMは研究アイデアの新規性を正しく判定できるか、Ai2がベンチマークを公開

Ai2は、LLMが科学研究アイデアの新規性をどの程度信頼性をもって評価できるかを検証した研究「Old Ideas, Novel Problems」を公開し、新規性判定用のベンチマーク、データ、コードを併せて公表した。ICLR 2026の査読コメントから新規性に関する記述を抽出して評価データを構築し、GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5、Claude Opus 4.6の6つのLLM判定器を比較した。