Google DeepMind、リアルタイム世界モデルGenie 4を発表 音声と会話に対応

Genie 4は完成した動画を出力するのではなく、入力に反応しながらシーンを1フレームずつ計算する世界モデルである。ユーザーはキーボードで移動し、テキストプロンプトで出来事を操作する。DeepMindによれば、音声を直接生成するリアルタイム世界モデルとして同社初であり、世界ごとに風の音などの環境音が付く。登場人物同士の会話や、ユーザー入力への反応も扱う。人物の描写でリアリズムが最も向上したとしている。

仕組みの面では、動画モデルGemini Omniの能力を土台にし、ほかのGeminiモデルがシミュレーションの計画を支えて一貫性を保つ。天候をプロンプトで変えた場合、Geminiが指示を実行中のシーンに合わせて調整する。例としてGemini 3.8 Flashがシーンを継続的に観察し、目標を手順に分解し、新しいフレームで各手順の成否を確認する。状況が変わったりユーザーが介入したりすれば計画を修正する。

ロボット研究Gemini Roboticsとの連携も試されている。Gemini 4 Argonがチェッカーというタスクを手順に分け、Genie 4がそのテキスト指示でApptronikの人型ロボットApolloが遊ぶ様子をシミュレートするデモがある。実機は使っていない。

DeepMindはGenie 4を初期の実験的モデルと位置づけている。短いセッションでは世界は一貫するが、長いシミュレーションや複雑なプロンプト変更を重ねると、見た目の細部が変わったり物体が保持されなかったりする。複雑な物理的相互作用、正確なリアルタイム音声、読める文字は研究中である。今後はProject GenieのWebアプリでGoogle AI Ultra購読者に、またGemini APIとGoogle AI Studioの早期アクセスパートナーに提供される予定で、動画と音声にはSynthIDの透かしが入る。