ScaleNav、インターネット動画で言語指示ベースのローカルナビゲーションを学習

ScaleNavは、インターネット上の一人称視点動画から目標指向の視覚ダイナミクスを学習し、言語指示によるローカルナビゲーション用のロボット行動を生成するフレームワークである。シミュレーションでは、Short-Horizon OVONの単一視点版で86.5%、自社のHabitatGS-LNベンチマークで94.9%の成功率を達成し、評価した全ベースラインを上回った。さらに実四足歩行ロボットにも展開し、実環境でのナビゲーションへの汎化能力を確認したとしている。