Hugging Face、Mistral Large 4（Le Chonk）を紹介、約1TのMoEマルチモーダルモデル

Mistral Large 4はテキストと画像を入力しテキストを出力するMoEモデルで、公式にはFP8とNVFP4の2種類が提供される。Unslothとllama.cpp側チームによるGGUFもある。ライセンスはMITの派生で、モデルのサービス提供には制限がある。サイバーセキュリティ、コーディングエージェント、マルチモーダルに強いと説明されている。

構成は72層のテキストデコーダーで、MLAとDeepSeek Sparse AttentionのインデクサーでKVを圧縮しつつ、クエリごとに最大2,048のキー位置を選ぶ。最初の層は密なフィードフォワードで、残る71層のMoEでは128エキスパートから4つを選び、共有エキスパート1つと合わせて1トークンあたり5エキスパートが動く。視覚側は1.6BのPixtralエンコーダーである。

評価では、Artificial Analysis Cyber Indexの脆弱性再現とパッチ適用で82%を記録した。Mistralは、複数のクローズドな最先端モデルが拒否のためほぼ0点だったと報告している。Cybenchは40課題中93%、LakeraのB3で攻撃耐性93.3%である。コーディングではDeepSWE v1.1で61.7%、Terminal-Bench 4で28.3%を示し、10月29日時点でArtificial Analysis Intelligence indexのオープンウェイト第5位とされる。

実行面では、transformersでは推論の強度をlow、medium、highから選べ、無効化はできない。vLLMではNVFP4版がBlackwell GPUを要する。llama.cppの2ビット量子化は512GBのApple Silicon Ultra1台で動作し、M3 Ultraでのgenerationは約15 tok/sだった。TRLによるファインチューニング、8基のNVIDIA H200でのInference Endpoints、Dell Enterprise Hubでの展開手順も紹介されている。