Google Research、LLMの事実性のボトルネックは符号化でなく想起と指摘

研究チームは、個々の質問ではなく事実を単位に分析するナレッジプロファイリングを提案した。事実を、符号化の失敗、想起の失敗、直接想起、思考による想起、符号化なしの推論という5種類のプロファイルに分類する。符号化は事前学習に近い文脈での命題補完や文脈付き質問で測り、知識は言い換えや逆方向の質問にも正答できるかで判定する。

評価用に、Wikipediaから抽出した2,150件の事実からなるベンチマークWikiProfileを構築した。各事実には符号化2問、知識評価4問、認識用の多肢選択4問の計10問が付く。作成はGemini-2.5-Pro（思考あり）を用いた自動パイプラインで行い、検索エンジンによるフィルタリングと最終的な人手検証を経ている。13個のLLMを思考あり・なしの両方で評価し、各条件で8回サンプリングして約450万件の応答を自動採点した。

結果として、Gemini-2.5-Pro、Gemini-3-ProとFlash、GPT-5といった最先端モデルでは符号化はほぼ飽和していた。Gemma 3ファミリーでは大型化で符号化の失敗は大きく減るが、想起の失敗は残り、残る誤りに占める割合が増える。スケーリングは保存される知識を増やすが、アクセスできる知識の改善は小さいという見方になる。

想起が難しくなる条件として、学習時の文脈、言い回し、順序から質問が離れる場合が挙げられている。低人気の事実は人気の高い事実と同程度に符号化されているが、想起の差は大きい。逆方向の質問は自由生成では難しいが、多肢選択での認識では順方向と同程度か、むしろ易しい。このため逆転の呪いは想起の問題だとされる。

思考は想起が弱い領域ほど効果が大きく、思考最適化モデルでは符号化済みだが直接は答えられない事実の約40–65%を回復する。符号化されていない事実への効果は小さく、思考は複雑な多段推論というより想起を促す仕組みとして働くと解釈されている。一方で計算コストがかかり、いつ思考を呼び出すべきかは明確でない。今後の事実性の向上は、スケーリングだけでなく、すでに符号化された知識をうまく活用する方向からも生まれうると結論づけている。