Hugging Face、ICML 2026の2,226本の論文をエージェントで再現した結果を公開

ハッカソンは7月15日から8月2日までの19日間で、1,221人が参加した。参加者はClaude Code、Codex、Cursor、OpenResearchのorxなど各自のコーディングエージェントを使い、論文の主張を一つずつ再現した。結果は6,816件のTrackioログブックとして公開され、2,226本が対象となった。これは採択論文全体の34%にあたる。判定はオープンウェイトモデルGLM-5.2を使った自動のLogbook Judgeが行い、verified、falsified、toy、inconclusiveの4区分で35,908件の主張を評価した。各ログブックの自己評価は信頼しない設定だった。参加者にはHF Jobs用に20ドル分の計算クレジットが配られ、2,962件のジョブが実行された。

集計では、1,103本で少なくとも1件の主張が検証され、うち266本はすべての主張が検証された。496本では少なくとも1件が反証または争点となり、242本では独立した再現チームが同じ主張に対して正反対の判定を出した。502本は縮小規模の証拠のみ、280本は成果物の欠落などで判断できなかった。

反証の例として、Learning-Augmented Pagingの論文では証明の誤りが特定され、真のロバスト性はHk+Θ(log k)とされた。Attentionの論文では3チームが反例を示し、著者は同日に確認して修正に取り組んでいる。Self-Distillationの論文では理論が逆KLを扱う一方、コードの既定は順KLだった。Do Transformers Need Three Projections?では評価にEOSパディングが約66%含まれ、3.1%とされた品質低下が補正後は約9.4%になった。一方で、再現側の算術ミスによる誤った反証も見つかった。

著者への連絡も始まっており、複数の論文で指摘が確認され、2件のarXiv修正が進行中である。人間の役割については、エージェントが局所的なループに陥ったりスケール依存の挙動を読み誤ったりする点を挙げ、人間が方向を修正したワークフローが最も信頼できたとしている。画像生成の論文では人間が128組の画像ペアを目視で判断した。人間は研究室を整える指導者のように、環境を整えて適切な問いを立てる役割を担うと結んでいる。