Hugging Face、ロボット操作データ記録システムGrabetteをオープンソースで公開

Grabetteは魚眼カメラとRGBDカメラの2台を備えた手持ちグリッパーで、IMUも搭載する。広角の魚眼カメラが方策に必要な視点を提供し、RGBDカメラが6-DoFの軌跡追跡を担う。部品表のコストはGrabetteが約490€、ロボットアーム側で使うモーター駆動のグリッパーGripetteが約120€とされている。構成部品はRaspberry Pi、標準のPiカメラ、市販のOAK-D深度カメラ、磁気エンコーダーなどである。

使い方は2段階である。ボタンを押すと観測カメラ、追跡カメラ、グリッパーのエンコーダー値が共通クロックで同時に記録され、再度押すとRaspberry Piに保存される。その後ブラウザでGrabetteダッシュボードを開いてエピソードを選ぶと、HF Hubへのアップロード、RTAB-MAPによるSLAMと軌跡検証、LeRobot形式への変換、データセットのアップロードまでが1クリックで進む。

デモとして、200件の実演から拡散モデル系のDiffusion Policy（ResNet18とSpatialSoftmaxエンコーダー、DDIMスケジューラー、6D回転アクション）を学習し、Gripetteを付けたOpenArmの7-DoFアームで評価している。ただしこれは活用例であり、公開の中心は記録システムだと述べている。

データはカメラ座標系の6-DoFデカルト姿勢とグリッパー状態として保存され、特定のロボットを前提にしない。今後は頭部装着型のPOVデバイスCasquetteを開発中で、コミュニティによる共有データセットの拡大を呼びかけている。