Google DeepMind、テキスト拡散の実験的オープンモデルDiffusionGemmaを公開

DiffusionGemmaは、トークンを1つずつ生成する自己回帰型の大規模言語モデルとは異なり、256トークンのブロックを並列に生成する。総パラメータ26BのMoEで、推論時に有効になるのは3.8Bであり、量子化すれば18GBのVRAMに収まるとされる。Gemma 4ファミリーとGemini Diffusionの研究を基盤に、生成速度を高めるための拡散ヘッドを組み込んでいる。

高速化の理由は、デコードのボトルネックをメモリ帯域から演算に移す点にある。ローカルで単一ユーザーが使う場合、従来方式ではGPUが次のトークンを待つ時間が長くなるが、この方式では一度に大きな処理を与えて計算資源を使い切れる。一方、高QPSのクラウド配信では自己回帰モデルでも計算を飽和させられるため、利点は小さくなり、配信コストが高くなる場合もある。スループットの優位は、単一アクセラレータで低から中程度のバッチサイズのときに最も強い。

生成はランダムなプレースホルダートークンのキャンバスから始まり、複数回のパスで正しいトークンを確定しながら残りを整えていく。双方向アテンションにより各トークンが他のすべてを参照でき、インライン編集、コードの穴埋め、アミノ酸配列、数式グラフなど非線形な領域に向く。モデルは自らの出力を繰り返し修正する。Unslothがファインチューニングして数独を解かせた例も示されている。

重みはHugging Faceで入手でき、開発者ガイドとA Visual Guide to DiffusionGemmaも公開されている。MLX、vLLM（Red Hat支援の統合）、Hugging Face Transformersで動かせ、JAXベースのHackable Diffusionによるファインチューニングチュートリアルも用意された。UnslothやNVIDIA NeMoでの調整も可能で、llama.cppの公式対応は近日予定という。NVIDIAと最適化し、GeForce RTX 5090と4090向け量子化、HopperとBlackwell向けNVFP4カーネルに対応する。実行はデスクトップGPUのほか、Gemini Enterprise Agent Platform Model GardenやNVIDIA NIMでも行える。