RoTA-Bench、対話型の投影アライメントで3D空間推論を評価

RoTA-Benchは、2D観測から精密な3D回転制御へ変換するVision-language modelの能力を、対話型の3D-2D投影アライメント課題で評価するベンチマークである。GPT-5.6-Solの成功率は課題の17%にとどまり、学部生20人がテスト集合を4回完了した際の成功率100%と大きな差がある。モデルは人間に比べ、同じ状態で画像の重なりを改善しつつ姿勢のアライメントを悪化させる割合が高く（19.4%対10.9%）、操作履歴を除くと行動の96.8%が30度刻みの粗いステップになり、成功率も大きく低下する。