Google、オンデバイスGPU推論エンジンML DriftをApache 2.0でオープンソース化

ML Driftは、OpenGL ES、OpenCL、Metal、WebGPUといったGPU APIの違いを抽象化し、Android、iOS、Web、デスクトップで同じ基盤を使えるようにする。従来のTensorFlow Lite GPU delegateの後継にあたり、今後は旧delegateに新機能は追加されない。既存モデルは後方互換のままLiteRT ML Drift GPUアクセラレーターへ移行できるとされる。

構造面では、テンソルの論理表現とGPU上の物理配置を切り離すテンソル仮想化により、バックエンドごとにシェーダーを維持する必要をなくしている。カスタムopの登録APIに加え、コーディングエージェント向けのSKILL.mdガイドも用意される。旧delegateが4Dテンソルに固定されていたのに対し、5Dテンソルにも標準対応し、YOLO 11n、MobileViT v2、Swin Transformer v2などを動かせる。

エッジ向け大規模言語モデルでは、プレフィルとデコードの特性の違いに応じてカーネルとレイアウトを切り替える。デコード時は畳み込みに合わせたKV cacheレイアウトとカーネル内の活性化量子化を使う。Gemmaのベンチマークでは、他のフレームワークよりメモリオーバーヘッドが最大12%小さいとされる。WebGPUバックエンドはDawn経由でWindowsとLinuxでも動き、デスクトップ版はプレビュー段階である。

導入事例として、Chrome、YouTube Shorts、Photos、Meetが挙がる。ChromeではGemini Nanoを使うPrompt、Summarize、Writer APIの基盤になっている。YouTube Shortsは最大40%のレイテンシー削減、Google Photosは旧delegate比で最大2秒の高速化を報告している。Adobe LightroomとPhotoshopのAI機能は最大30%高速化し、SnapのLens向けモデルは30%のレイテンシー改善となった。Arm、Intel、Qualcommとも最適化で協力している。

Android向けにはスタンドアロンのLiteRTパッケージで今すぐ使え、Google Play Services上のLiteRTにも近く対応する予定である。アプリ開発者はLiteRT ML Driftアクセラレーターを、GPUやシステムエンジニアはC++ APIを直接使う。ソースコードはgithub.com/google-ai-edge/ml-driftで公開されている。