SolarRenderer、構造入力から動画を数ステップで描画する研究

SolarRendererは、凍結したMiniMax-H3 33Bバックボーンに2つの軽量LoRAを組み込み、構造入力から現実的な動画を4ステップでレンダリングする手法である。50ステップのサンプリングより12.3倍速いとされる。ブロック因果型の派生版はストリーミングに対応し、768pの動画をリアルタイムでレンダリングできる。136Kクリップのフレーム対応データで学習され、同分布のテストセットと16種類の構造表現によるベンチマークで最先端の結果を示し、ポーズスケルトン、描画、点群など11の未見の表現にも汎化する。

Hugging Face Daily Papersより

推移を表示するための継続的な観測データがまだ足りません。