Google、マルチモーダル埋め込みモデルEmbeddingGemma 2を発表

EmbeddingGemma 2は、ローカルかつプライバシー重視のアプリを想定した740Mパラメータのモデルである。エンコーダーはモジュール式で、必要なものだけを読み込める。画像キャプション、音声認識、テキスト埋め込みの各モデルを連結する構成に比べ、レイテンシとメモリの負担を減らせるとしている。学習データやファインチューニングなしで、入力をラベルや説明文と照合するゼロショットの意図ルーティングにも使える。 デモはGoogle AI Edge Galleryアプリに追加された。Instant Media Searchは、ローカルの画像や動画を自然言語や例示画像で検索する。埋め込みベクトルはローカルのSQLiteデータベースに保存し、コサイン類似度の高い順に返すため、入力のたびに結果が更新される。Video Moments Finderは、音声の文字起こしや中間キャプションなしで、動画内の特定の場面を探せる。アプリはGoogle PlayとApp Storeから入手できる。 Mac向けの実験的アプリGoogle AI Edge Foresightは、EmbeddingGemma 2とGemma 4で動く会議支援ツールである。システム音声とマイクに接続し、メモの補強やリアルタイムの質問への回答、文書や画像を横断する検索をすべてローカルで行う。 開発者向けには複数の経路が示されている。ML Kitでの提供はAndroid向けに今後数週間以内の予定で、NPUアクセラレーションと自動モデル更新に対応するとされる。MediaPipe TasksはEmbedderとSemantic Retrieverに対応し、768次元、または128dから512dに切り詰めた正規化ベクトルを返す。MediaPipe Decision Taskは、チェスの例で毎ターン500の選択肢を100ms未満で評価している。LiteRTでは単一の.litertlmファイルがCPUとGPUで動作し、MacBook M5 Pro GPUでの画像埋め込みは37.3ms（毎秒26.9枚）である。 最適化として、INT4とINT8へのQuantization-Aware Training、入力サイズに応じた計算グラフの動的読み込み、Matryoshka Representation Learningによる次元削減が挙げられている。次元削減によりローカルのストレージとインデックスは最大8x小さくなる。事前量子化済みバンドルはHugging FaceのLiteRT Communityで配布され、Google Colabやガイドも用意されている。

Google Developers Blogより