対話型動画生成におけるSpeculative Sampling
Speculative Samplingは、自己回帰型動画生成を対話的に動かすための学習不要な手法である。双方向注意ウィンドウのMiniMax H3に適用すると、Self-Forcing型の自己回帰後学習を行わずに対話化でき、新しいユーザー入力から最初の応答フレームが表示されるまでのエンドツーエンド遅延は約1.4秒になる。モデルは一度に5秒分の動画を同時にサンプリングする。
#動画
#動画
本日0件Hugging Face Daily PapersAIスコア3838
Google Research BlogAIスコア4141 Google Research、GeminiとVeo上で長尺動画の一貫性を自動制御するAIビデオ共同監督フレームワークを発表
Google Researchは、GeminiとVeoの上に構築したマルチエージェント型のAIビデオ共同監督フレームワークを発表した。複数カットにわたる視覚的な一貫性を計画し、キャラクターや環境のずれを抑えながら数分規模の動画生成を目指す。創作方向の選択にはマルチアームドバンディットを用い、Pre-Production、Production、MLLM Judgeの各エージェントが制作を進める。SynthIDによる透かしなどの安全機構も継承するとしている。
SB Intuitions ブログAIスコア3434 SB Intuitions、リアルタイム対話キャラクター向けストリーミング音声駆動動画生成を紹介
SB Intuitionsは、ストリーミング音声を入力に対話キャラクターの動画応答を生成する、音声駆動動画生成のエンドツーエンド試作を紹介した。ベースにはLTX 2.3を用い、Self-Forcingを改良したODE初期化とDMD蒸留の2段階でポストトレーニングして自己回帰モデルを得ている。推論では参照画像と最初の動画チャンクのトークンをアテンションシンクとして保持する。
Sony AI ブログAIスコア3838 Sony AI、CVPR 2026で6本の論文を発表、拡散モデルのチュートリアルも実施
Sony AIと共同研究者は、米デンバーで開かれるCVPR 2026で6本の論文を発表する。対象は生成モデリング、3Dシーン理解、ビデオからの音声合成、ドメイン適応、ビジュアルトークンの効率化である。MeanFlowとRepresentation Autoencoderを組み合わせたMF-RAEは、ImageNet 256で1ステップFID 2.03を記録し、学習コストを83%削減した。6月3日には拡散モデルのチュートリアルを実施し、Peter Stoneが関連ワークショップで基調講演を行う。