SB Intuitions、リアルタイム対話キャラクター向けストリーミング音声駆動動画生成を紹介

SB Intuitionsは、ストリーミング音声を入力に対話キャラクターの動画応答を生成する、音声駆動動画生成のエンドツーエンド試作を紹介した。ベースにはLTX 2.3を用い、Self-Forcingを改良したODE初期化とDMD蒸留の2段階でポストトレーニングして自己回帰モデルを得ている。推論では参照画像と最初の動画チャンクのトークンをアテンションシンクとして保持する。