3D動作と動画を同時生成するモデルを発表

任意のリグ（スケルトン）に対して動画と3D動作を同時生成し、カメラでその動作をシーンに合わせて配置するモデルを提案している。3D動作は任意のスケルトンに対応する別モデルで扱い、事前学習済みの動画生成モデルと少数のクロスアテンション層で接続する。約20万組の学習ペアで学習させ、テキストからのアニメーションは動画先行型のパイプラインより忠実だと報告されており、動画と3D動作の相互変換やキーフレームによる制御も可能とされる。

Hugging Face Daily Papersより

推移を表示するための継続的な観測データがまだ足りません。