Meta、オープンウェイトのマルチモーダルMoEモデル「Muse Spark Open」を公開
Welcome Muse Spark Open: open-weight frontier multimodal mixture-of-experts model from Meta
Metaはオープンウェイトのモデル「Muse Spark Open」を公開した。総パラメータ約816B、トークンあたりのアクティブ約42BのMoEで、テキスト、画像、音声、動画を入力でき、コンテキストウィンドウは最大1Mトークンである。Hugging Face Blogでは、transformers、llama.cpp、SGLang、vLLM、MLXでの実行方法とTRLによるファインチューニング、デモを紹介している。
Muse Spark Open は Muse シリーズのフルサイズモデルで、出力はテキストのみである。Metaはマルチファイルのリファクタリングや長いデバッグなど実際の開発ワークフローを想定し、コードベースの読解、コードの作成とデバッグ、ツール呼び出しを重視して学習させたと説明している。チェックポイントはBF16とNVFP4の2形式で、BF16は約1.5TB、NVFP4はNVIDIA Blackwell GPU向けの4ビット精度である。
アーキテクチャは62層、隠れ次元8192で、各MoE層に256のエキスパートがあり、トークンごとに8つが選ばれる。エキスパートが全パラメータの約97%を占める。全エキスパートをメモリに保持するため、必要メモリは816Bモデル相当だが、速度は42Bモデル相当になる。画像と動画は1.8Bパラメータの知覚エンコーダ、音声は80msごとに1トークン（毎秒12.5トークン）を出力する音声エンコーダで処理する。1Mトークンの完全なコンテキストでは、KVキャッシュはBF16で約266GBになる。
実行環境は複数ある。transformersではBF16を8基のH200を持つ4ノード（TP=32）で、NVFP4を単一のB200ノードで動かす。llama.cppでは2ビット量子化がMac M3 Ultra（512GB）で毎秒18トークン、MLXのoQ3e量子化は同機でプリフィル約225 tok/s、生成21 tok/sである。SGLangとvLLMはNVFP4向けの設定例を示しており、vLLMの例は128Kトークンのコンテキストである。推論を完全にオフにはできず、軽いタスクではreasoning effortを「low」にしてトークン消費を抑える。Inference Endpointsにも検証済みのSGLangレシピがある。
ファインチューニングはTRLのSFTTrainerで、8ノード×8基のH100の計64GPU上でアテンション層にLoRAを適用し、エキスパートは凍結した。500ステップで約2時間、平均トークン精度は72%から84%、損失は1.26から0.57に改善した。デモは、llama.cppとPiコーディングエージェントによるThree.jsの3Dアセット生成、OpenEnvとHugging Face Sandboxを使ったスクリーンショットのみで動くブラウザ操作エージェント、音声入力でAmazonの商品を探すブラウザエージェントの3つである。
総パラメータ約816B、アクティブ約42Bという構成と、各推論環境での動かし方や必要なメモリ量がまとまっており、導入規模を見積もる材料になる。
出典: Hugging Face Blog · huggingface.co