一人称視点の動画から手の行動を3D復元しロボット学習データを作る試み、テレオペ脱却へ

ABEJAの辻氏が、GoProで撮った一人称視点の動画から手の行動を3D復元し、ロボットの学習データ（LeRobotDataset v3.0）にするパイプラインを試作した。Microsoftの VITRA は MANO、HaWoR、WiLoR が商用利用できないため、手を解剖学的な21個の回転関節で表すモデルを自作した。EgoExo4D での評価では、手の形の誤差が17〜19mm（VITRA は12mm）、手首の位置の誤差が80〜95mm（VITRA は27mm）で、精度は VITRA に届いていない。