Realtime-Bench、リアルタイム対話タスクでLLMの弱点を検証

米テキサス大学オースティン校などの研究者が、遅延した行動が成否に直接影響するリアルタイム対話タスクでLLMを評価するベンチマーク「Realtime-Bench」を構築した。ゲームとWebの計50タスクで構成される。最高成功率はGPT-6-Astra（high）のwall clock条件での36%にとどまり、時計を停止できるpaused clock条件では推論を強めたモデルが70%から80%に近づく。