快手Klingの動画生成におけるマルチモーダル理解の知見

Klingの開発で得たマルチモーダル理解の知見をまとめた報告で、動画生成の品質はデータから評価までの連鎖におけるマルチモーダル理解の反映だと論じる。画像、動画、音声、音声付き動画、インターリーブ入力を統一的に扱うKling-MLLMを基盤に、各工程に特化させている。キャプションの記述密度、報酬モデルの設計、自動評価の手法も検討している。

Hugging Face Daily Papersより

推移を表示するための継続的な観測データがまだ足りません。