4D世界を点の軌跡予測で学習する「Video-Point Model」

Video-Point Model（VPM）は、マルチビュー動画の履歴と言語指示から、任意の視点での将来動画と3Dの点軌跡を同時に予測する世界モデルである。事前学習済みの世界モデルを拡張し、軌跡ヘッドで点の時間的な動きを予測させることで、動画の忠実度と3D運動の精度が動画のみのモデルより向上したと報告されている。さらにロボット行動をトークンとして加えたモデルでは、シミュレーションと実機の両方で操作の成功率が上がったとされる。