注目のストーリー進行中
StateBench公開、長文の状態追跡能力を評価
1件の報道1件のソース2 時間前更新
これまでの経緯
報道より
Hugging Faceは、長文書内のエンティティの状態変化を言語モデルがどこまで追跡できるかを測るベンチマーク「StateBench」を公開した。難易度は4段階で、変数の代入方式によって更新操作の複雑さが異なる。Gemini 3.8 Flash、Claude Opus 5.5、GPT-6 SolとLunaといったフロンティアモデルは、入力が長くなると難しい形式の状態追跡で破綻する一方、リカレント型やハイブリッド型のモデルはTransformerより遠くまで汎化できたという。
Hugging Face Blogより
報道タイムライン
報道を追って、ストーリーのさまざまな側面を確認しましょう。
11月4日
- Hugging Face BlogStateBench、長文書における言語モデルの状態追跡を測るベンチマーク
Hugging Faceは、長文書内のエンティティの状態変化を言語モデルがどこまで追跡できるかを測るベンチマーク「StateBench」を公開した。難易度は4段階で、変数の代入方式によって更新操作の複雑さが異なる。Gemini 3.8 Flash、Claude Opus 5.5、GPT-6 SolとLunaといったフロンティアモデルは、入力が長くなると難しい形式の状態追跡で破綻する一方、リカレント型やハイブリッド型のモデルはTransformerより遠くまで汎化できたという。
このニュースの注目度の推移
推移を表示するための継続的な観測データがまだ足りません。