StateBench、長文書における言語モデルの状態追跡を測るベンチマーク

Hugging Faceは、長文書内のエンティティの状態変化を言語モデルがどこまで追跡できるかを測るベンチマーク「StateBench」を公開した。難易度は4段階で、変数の代入方式によって更新操作の複雑さが異なる。Gemini 3.8 Flash、Claude Opus 5.5、GPT-6 SolとLunaといったフロンティアモデルは、入力が長くなると難しい形式の状態追跡で破綻する一方、リカレント型やハイブリッド型のモデルはTransformerより遠くまで汎化できたという。