Google DeepMind、ロボット向け推論モデルGemini Robotics ER 2を公開

Gemini Robotics ER 2はロボットの高レベルな頭脳と位置づけられ、人との対話、物理世界の理解、複数ステップのタスク計画を担う。モーター制御は下位のビジョン・言語・行動（VLA）モデルに任せ、Google Searchやユーザー定義関数などのツールも呼び出せる。開発者はVLAやナビゲーションAPIをツールとして宣言し、動画、音声、テキストを直接ストリーミングできる。Gemini Live APIに統合され、動作中に次の手を考えることで「止まって考える」間を減らすという。Boston DynamicsのSpotを使ったデモでは、自然言語の指示で物を取ってくる動作を実現し、コードはGithubで公開されている。

時間的な理解では、進捗分類と瞬間検出の2つが強化された。進捗分類は動画の各フレームを0-20%から80-100%までの5段階に分けるもので、精度は57.4%と、従来モデルや他の最先端モデルを上回ったとされる。瞬間検出では精度91.3%、平均絶対距離0.96秒を記録し、より大きなモデルに近い性能を、少ない計算コストと4倍の実行速度で出すという。これにより、電球を締める、ゴミ袋を結ぶといった作業の完了確認や、失敗時の再試行が可能になる。

マルチロボット連携では、異なる種類のロボットが共有の意味理解を通じて作業を引き継ぐ。Apptronik社のApollo 2とFranka F3 Duoが協調するデモが紹介されている。空間知能では、成功・失敗検出が静止画から生の動画に拡張され、計器読み取りはデジタル表示、リニアスケール、定規、液体温度計を含む10種類で検証された。空間VQAも改善され、ERQAなどで最高精度を示したとされる。

安全性では、Safety Instruction FollowingとHuman Proximityの各ベンチマークでER 1.6や他モデルを上回った。人が近くにいるとヒューマノイドロボットを停止し、エリアが空くと自律的に再開する挙動も確認されている。あわせて、基盤モデルが安全なVLAオーケストレーターとして機能するかを測る新ベンチマークを導入し、詳細は安全性の技術レポートで公開されている。