RoboValue：ロボット価値モデルを統一評価するシミュレーション・実機ベンチマーク

RoboValueは、ロボット価値モデルをシミュレーションと実機の両方で統一的に評価するベンチマークである。タスク状態の理解、時間的な進捗追跡、失敗からの回復推論、価値の一貫性の4つの能力を評価し、シミュレーション15タスク、実機20タスクの操作データセットを含む。代表的なモデルは成果や前進進捗のスコアが高くても、細かな指示の把握、履歴に依存する進捗追跡、回復評価で誤りを示したという。