Matrix-Game 4.0、動画モデルでリアルタイムにプレイ可能なゲーム世界を生成する研究

Matrix-Game 4.0は、操作可能な動画から真にプレイ可能な世界へ進むために、永続的な世界状態、実行可能なゲームルール、低遅延のインタラクションが必要だとの前提に立つ。そのため、ゲームの実行と映像の生成を実行可能なゲームハーネスで分離する設計を採った。

構成は三つの要素からなる。軽量なゲームエンジンが世界状態を保持してインタラクションのルールを実行し、マルチモーダルなコーディングエージェントがプレイヤーの発想をゲームコードと動的なシーンキャプションに変換する。レンダラーは自己回帰型動画モデルに基づき、エンジンが描画したローポリのプロキシ映像を、動的キャプションとメモリ参照を条件として精細な映像に変換する。これにより、自然言語でシーンやゲームプレイを作成、修正できる。

レンダラーはローポリと高精細の動画ペアで学習し、4フレーム単位で生成する因果的な生成器へ蒸留している。デノイジングは1〜2ステップである。推論の最適化と合わせ、RTX5090 1枚で480p、60 FPS、遅延112msを実現した。1ステップ生成では定常スループットが83FPS、GPUメモリのピーク使用量は18.2GiBである。プロンプト固定の条件では、RTX5080で67FPS、RTX5070Tiで58FPSに達する。