Hugging Face、Diffusers本体でNunchaku Lite 4bit拡散モデル推論に対応

今回の統合は「Nunchaku Lite」と呼ばれ、標準のDiffusersモデルのnn.Linearを実行時にSVDQ/AWQの線形層へ置き換えてからチェックポイントを読み込む仕組みである。専用のパイプラインクラスや別の推論エンジンは要らず、スケジューラ、LoRA読み込みフック、オフロード、torch.compileも通常のDiffusersモデルと同様に使える。カーネルは2種類で、注意機構とMLPの射影にはsvdq_w4a4（INT4とNVFP4）、適応正規化や変調の射影にはawq_w4a16を使う。

元のNunchakuエンジンはQKV射影やGELU/MLPの融合カーネルなどモデル固有の実行経路で高速化していたが、Nunchaku Liteにはそれがないため速度向上は劣る。それでも約30%の高速化とVRAM削減は維持される。ハードウェアは、NVFP4がBlackwell（RTX 50シリーズ、RTX PRO 6000、B200）、INT4がTuring、Ampere、Adaの各世代に対応する。Volta と Hopper は現時点で非対応で、ロード時にCUDA capabilityを検証してエラーを出す。

ベンチマークはRTX PRO 6000で1024x1024、ERNIE-Image-Turboを使って行われた。BF16が3.00秒、ピークVRAM 31.1 GBであるのに対し、NVFP4は2.27秒、20.6 GBで1.35倍になる。torch.compileを加えると1.68秒で1.8倍となり、NF4のテキストエンコーダを併用するとピークVRAMは16.0 GBまで下がる。ブログ冒頭の例では、RTX 5090で1024x1024画像を約1.7秒、ピーク約12 GBで生成し、BF16パイプラインの約24 GBと比較している。

自前のモデルを量子化したい場合は、diffuse-compressorツールキットで検査、キャリブレーション、量子化、パッケージ化、公開までを行える。例としてFLUX.2 Klein 4Bの手順が示され、生成物は通常のDiffusersリポジトリとしてHubに公開できる。QKVの結合など構造の書き換えが必要なモデルには、モデル固有のターゲット設定とランタイムアダプタが要る。すぐ試せるチェックポイントとして、ERNIE-Image-Turbo（INT4とNVFP4）やKrea 2 TurboのNVFP4版などが紹介されている。