注目のストーリー進行中
LLM審査員による研究アイデアの新規性評価の信頼性検証
1件の報道1件のソース2 時間前更新
これまでの経緯
報道より
Ai2は、LLMが科学研究アイデアの新規性をどの程度信頼性をもって評価できるかを検証した研究「Old Ideas, Novel Problems」を公開し、新規性判定用のベンチマーク、データ、コードを併せて公表した。ICLR 2026の査読コメントから新規性に関する記述を抽出して評価データを構築し、GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5、Claude Opus 4.6の6つのLLM判定器を比較した。
Hugging Face Blogより
報道タイムライン
報道を追って、ストーリーのさまざまな側面を確認しましょう。
10月28日
- Hugging Face BlogLLMは研究アイデアの新規性を正しく判定できるか、Ai2がベンチマークを公開
Ai2は、LLMが科学研究アイデアの新規性をどの程度信頼性をもって評価できるかを検証した研究「Old Ideas, Novel Problems」を公開し、新規性判定用のベンチマーク、データ、コードを併せて公表した。ICLR 2026の査読コメントから新規性に関する記述を抽出して評価データを構築し、GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5、Claude Opus 4.6の6つのLLM判定器を比較した。
このニュースの注目度の推移
推移を表示するための継続的な観測データがまだ足りません。