Stanford研究、LLMに関する有名な知見の44%がすでに失効と報告

検証には2024年7月から2026年9月に8社が公開したモデルを使った。結果は、失効が44%、大きく弱まったものが34%、現在も成り立つものが16%、むしろ強まったものが6%である。1年後の時点で失効していたのは16%、2年後には39%に増えた。

分野別では、モデルにできないことを示す主張ほど早く失効した。推論関連の9件のうち5件が失効し、残り4件も弱まっており、成り立つもの、強まったものはない。「strawberry」の文字数カウント、見慣れない数体系での算術、長いコンテキスト中間部の情報欠落、ユーザーに反論されて正解を取り下げる挙動などが含まれる。研究者は、こうした誤りには明確な正解があり、開発側が学習で狙いを定めやすいためと推測している。

残りやすいのは傾向や選好に関する知見である。成り立つか強まった11件のうち3件はLLMが評価者として働く場面で、自分の回答を好む、採択論文と不採択論文を同程度に評価する、医学要旨の言い回しに左右されるといった内容だ。迎合に関する3件、左寄りの政治的バイアス、自由回答の類似、乱数生成の偏りも残っている。

事例として科学文献の引用捏造を調べた。2023年のWalters and Wilderの研究ではGPT-3.5が参考文献の55%を捏造したが、同じプロンプトでGPT-6.1 Solは0%、Claude Sonnet 5.5は1%だった。一方、同じ2026年のモデルでもQwen3.7-Flashは69%を捏造した。2段階推論の問題でもClaude Sonnet 5.5は、個別の2問に正解できた場合の約10%で失敗する。元論文のChatGPTは43%だった。

モデル間の差も大きい。2026年7月から9月公開のモデルでは、失効した知見の数がDeepSeek V4 Proの11件からGPT-6.1 Solの30件まで開いた。公開時期、提供元、モデルサイズのいずれも傾向を確実には予測しない。著者らは、LLMに関する実証的知見は特定時点の特定モデルへの観察として提示し、モデル、バージョン、日付を明記してプロンプトと分析コードも公開すべきだと結論づけている。