DreamX、動画拡散モデルで潜在行動を学習

DreamXは、事前学習済みのビデオ拡散モデルを汎用の潜在アクション学習器として転用し、外観に依存しないコンパクトな潜在アクションを抽出する手法である。各潜在ビデオフレームを1,200から4トークンへと300倍に圧縮し、LARY-Benchでは潜在アクションモデルの中で最高水準の性能を達成した。人間とロボットなど異なる身体や環境の間でのゼロショットのアクション転移に対応し、コンパクトな潜在空間での方策学習によりビデオ拡散ベースの方策の計算コストを削減する。

Hugging Face Daily Papersより

推移を表示するための継続的な観測データがまだ足りません。