Klingの事例から見る動画生成とマルチモーダル理解の知見

Klingの開発で得たマルチモーダル理解の知見をまとめた報告で、動画生成の品質はデータから評価までの連鎖におけるマルチモーダル理解の反映だと論じる。画像、動画、音声、音声付き動画、インターリーブ入力を統一的に扱うKling-MLLMを基盤に、各工程に特化させている。キャプションの記述密度、報酬モデルの設計、自動評価の手法も検討している。