Google DeepMind、世界モデルGenie 4をリサーチプレビューで公開 音声生成とリアルタイム操作に対応

Genie 4は天気やカメラアングルの変更、人物や物体の追加といった自由な編集をリアルタイムで行える。一貫したシーンの維持は最大2分で、前世代のGenie 3の2倍となった。物理表現や人物の描写も改善されたという。

GeminiはGenie 4と緊密に統合され、手順を計画しフレームを確認するディレクターの役割を担う。Gemini Roboticsに関連する研究実験では、Gemini 4 Argonがタスクを手順に分解し、Genie 4がリアルタイムでシミュレーションした。ロボットの動作を現実の前にシミュレーションで試す方法を示すものと説明されている。Tejas Kulkarniは、GeminiがコードとテキストをつくりGenieが現実を模擬するハイブリッド型の世界モデルが増えると述べた。

想定される用途はゲーム、インタラクティブ学習、ロボティクスである。信頼できるテスターからは映画のプロトタイピングという用途も挙がっている。Diego Rivasは、アイデア出しやストーリーボードの段階でリアルタイム性が役立つと語った。将来的にはGemini Omniで試作を制作素材に変換できる可能性にも触れたが、その実現はまだ先だとした。

課題として、シミュレーションが長くなるほど細部や物体がずれること、音声の正確さや世界内テキストの判読性を確保する方法が確立していないことが挙げられた。製品としての最終的な体験も未確定である。提供はリサーチプレビューの信頼できるテスターから始まり、数週間以内にGoogle AI UltraのProject Genieと、Gemini APIおよびGoogle AI Studioのアーリーアクセスパートナーへ広がる。

背景として、Runwayが数か月前に音声生成付きの世界モデルGWM Worlds 2を公開している。また世界モデル分野では、World LabsがAMDに買収されるほか、AmazonがDecartの買収を協議し、RivianがThird Dimensionを買収するなど再編が進んでいる。