映像生成向けMLLMの潜在表現を活かすFactor-Aware Predictive Learning（FAPL）

Factor-Aware Predictive Learning（FAPL）は、MLLMの潜在表現をvideo diffusion transformer（DiT）で活用できるようにする学習手法である。段階的な学習により、疎な入力からの時間的推論と、キャラクター、シーン、動作、カメラといった要素ごとの制御を両立させる。論文では、sparse-to-video、factor-aware editing、multi-shot generationの3つのシネマティック映像生成タスクで、ベースラインを上回る性能が報告されている。