EgoXperience：人間の経験から世界に根ざしたエゴセントリック表現を学習

EgoXperienceは、単眼のエゴセントリック動画と最初のフレームの物体マスクから、カメラ、シーン、手、物体を共通のワールド座標系で一度の順伝播により同時に再構成する統合フレームワークである。自動アノテーションエンジンEgoX-Engineで作成した50時間規模のデータセットEgoX-Data-6Mで学習している。最強のベースラインと比べ、カメラ、手、深度の誤差をそれぞれ68.9%、65.6%、42.9%削減し、物体姿勢のスコアは28.0%向上したことが実験で示されている。