任意のリグ向けに3D動作と動画を同時生成するモデル

任意のリグ（スケルトン）に対して動画と3D動作を同時生成し、カメラでその動作をシーンに合わせて配置するモデルを提案している。3D動作は任意のスケルトンに対応する別モデルで扱い、事前学習済みの動画生成モデルと少数のクロスアテンション層で接続する。約20万組の学習ペアで学習させ、テキストからのアニメーションは動画先行型のパイプラインより忠実だと報告されており、動画と3D動作の相互変換やキーフレームによる制御も可能とされる。