Google DeepMind、オンデバイス向けマルチモーダル埋め込みモデルEmbeddingGemma 2を公開

EmbeddingGemma 2は、昨年公開されたテキスト向け埋め込みモデルEmbeddingGemmaの後継で、対象をコード、画像、動画、音声へ広げた。初代は2,000万回以上ダウンロードされ、オンデバイス検索やプライバシー重視のRAGパイプラインに使われてきたという。Gemini Embeddingモデルと同じ技術を基にしており、サブ1Bのマルチモーダル埋め込みモデルの中でMTEB CodeやMAEBなどのベンチマークで高いスコアを示すとしている。

構成はモジュール式で、テキストのみなら270Mパラメータで動作し、ビジョン用（170M）と音声用（300M）のエンコーダーを必要に応じて追加できる。Matryoshka Representation Learning（MRL）により、出力ベクトルを768次元から512、256、128次元へ切り詰められ、ローカルのベクトルデータベースやメモリの使用量を最大6倍削減できる。Google Pixel 11 Proでの量子化時のアクティブRAMは、テキストのみで約191MB、フルマルチモーダルで約567MBである。

コンテキストウィンドウは8Kトークンで、初代の4倍になった。最大5.5分の音声、29枚の画像、58フレームの動画、またはそれらの組み合わせを端末上で処理できる。コード性能はMTEB Codeで9.92ポイント改善した。ローカルのコードベース索引、セマンティックコード検索、コーディングエージェントの検索に向くとされる。

Gemma 4とテキストトークナイザーおよび音声エンコーダーを共有するため、両者を同じパイプラインで動かすと合計メモリ使用量を抑えられる。モデルの重みはHugging FaceとKaggleで入手でき、Model Gardenでの提供は近日予定である。デプロイにはGoogle AI Edge MediaPipe、LiteRT、transformers.js、WebGPUが使え、transformers、sentence-transformers、MLX、vLLM、llama.cpp、SGLang、Ollama、LMStudioでの実行にも対応する。ベクトルの保存にはQdrantが挙げられ、ファインチューニングについてはUnslothのガイドが案内されている。