Black Forest Labs、FLUX.3 Image Kleinを公開 Diffusersで初日から利用可能

FLUX.3 Image Kleinには2つのオープンチェックポイントがある。black-forest-labs/flux-3-image-kleinは時間ステップ蒸留版で、16ステップ、CFGなしが既定値である。black-forest-labs/flux-3-image-klein-baseはベースモデルで、50ステップ、CFGを使い、ファインチューニング向けとされている。テキストエンコーダにはQwen3-VLを使うため、diffusersとtransformersの更新が必要になる。

レイアウト制御は新機能で、キャプションの後ろにid、bbox、descを持つ領域のJSONリストを付ける。座標は[y_min, x_min, y_max, x_max]の順で0〜1000に正規化されており、画像サイズが変わっても同じボックスを使える。編集ではsrc_bboxで参照画像内の元の位置、tgt_bboxで出力での移動先を指定し、両者が同じ領域はその場に留まる。複数の参照画像はプロンプト内で<ref_image_0>、<ref_image_1>のように指定する。

軽量化と学習については、transformerをbf16、fp8r、nvfp4の単一ファイルで配布しており、from_single_fileで読み込める。fp8rは compute capability 8.9以上、nvfp4はBlackwellで高速カーネルが働く。それ以外のGPUでは重みが毎ステップ逆量子化され、メモリは減るが高速化はしない。メモリのピークはnvfp4が15.3 GiB、fp8rが16.27 GiB、bf16が20.72 GiBである。DreamBoothのLoRA学習スクリプトはtext-to-imageと画像編集の両方が用意されている。

速度はH100 80GBで、蒸留版の1024 × 1024のtext-to-imageが1.93秒、参照画像1枚のimage-to-imageが3.87秒、レイアウト編集が4.10秒である。参照画像のトークンが同じシーケンスに加わるため、1024 × 1024の参照で1回の呼び出しごとに4,096トークン増え、時間はほぼ倍になる。アーキテクチャはテキスト、ノイズ画像、参照画像ごとの5ブロックと、全体で重みを共有する28ブロックの2段構成である。テキストと参照には常にタイムステップ0を与える点も特徴とされる。Modular Diffusersのパイプラインでは、テキストエンコーダを切り離す使い方や、ループ内にブロックを追加する使い方も示されている。