リアルタイム対話ベンチマークでAIの遅延課題を評価

米テキサス大学オースティン校などの研究者が、遅延した行動が成否に直接影響するリアルタイム対話タスクでLLMを評価するベンチマーク「Realtime-Bench」を構築した。ゲームとWebの計50タスクで構成される。最高成功率はGPT-6-Astra（high）のwall clock条件での36%にとどまり、時計を停止できるpaused clock条件では推論を強めたモデルが70%から80%に近づく。

Import AIより

推移を表示するための継続的な観測データがまだ足りません。