Google DeepMind、あらゆる入力から動画を生成するGemini Omni Flashを発表

Gemini Omniは、Geminiの推論能力と生成能力を組み合わせた新モデルで、最初の出力は動画である。Omniファミリーの第1弾がGemini Omni Flashで、画像や音声の出力にも順次対応する方針が示されている。入力には画像、テキスト、動画、音声を組み合わせて使える。ただし音声の参照は当初は声のみで、他の種類は今後展開する。

動画編集は自然言語の会話で進める。指示は前の編集を引き継ぎ、キャラクターの一貫性や物理的な整合性、シーンの文脈が保たれるとされる。環境、アングル、スタイル、細部を複数ターンで変えたり、動画内の動きや登場物を変更したりできる。

生成面では、重力や運動エネルギー、流体の挙動といった物理の理解が改善されたと説明されている。Geminiの歴史や科学、文化の知識を使い、短いプロンプトから粘土アニメ風のタンパク質の折りたたみ解説のような動画も作れる例が挙げられている。

安全面では、自分の声を使うAvatars機能で、自分に似た見た目と声の動画を作れる。一方、既存動画の音声や発話を変更する編集は、責任ある提供方法を検討するため引き続きテスト中である。Omniで作った動画にはSynthIDの電子透かしが入り、Gemini app、Gemini in Chrome、Google Searchで確認できる。

提供は、Google AI Plus、Pro、Ultraの購読者向けにGemini appとGoogle Flowで全世界で始まった。YouTube ShortsとYouTube Create Appでは今週から無料で使える。開発者と企業向けのAPI提供は、今後数週間の予定である。