注目のストーリー経過観察中
FAPL、MLLM潜在表現で動画生成を制御する手法を提案
1件の報道1件のソース1 日前更新
これまでの経緯
報道より
Factor-Aware Predictive Learning（FAPL）は、MLLMの潜在表現をvideo diffusion transformer（DiT）で活用できるようにする学習手法である。段階的な学習により、疎な入力からの時間的推論と、キャラクター、シーン、動作、カメラといった要素ごとの制御を両立させる。論文では、sparse-to-video、factor-aware editing、multi-shot generationの3つのシネマティック映像生成タスクで、ベースラインを上回る性能が報告されている。
Hugging Face Daily Papersより
報道タイムライン
報道を追って、ストーリーのさまざまな側面を確認しましょう。
10月22日
- Hugging Face Daily Papers映像生成向けMLLMの潜在表現を活かすFactor-Aware Predictive Learning（FAPL）
Factor-Aware Predictive Learning（FAPL）は、MLLMの潜在表現をvideo diffusion transformer（DiT）で活用できるようにする学習手法である。段階的な学習により、疎な入力からの時間的推論と、キャラクター、シーン、動作、カメラといった要素ごとの制御を両立させる。論文では、sparse-to-video、factor-aware editing、multi-shot generationの3つのシネマティック映像生成タスクで、ベースラインを上回る性能が報告されている。
このニュースの注目度の推移
推移を表示するための継続的な観測データがまだ足りません。