Liquid AI、LFM2.5向けDSparkドラフトモデルを公開、推論が最大3.2倍高速に

DSparkはDFlash方式の並列バックボーン、トークン間の依存を加える軽量な逐次ヘッド、信頼度に基づいて低信頼の後続トークンを刈り込む検証器の3要素で構成される。デコードはメモリ帯域が律速になりやすく、軽量なドラフトモデルが候補トークンを出し、ターゲットモデルが1回のフォワードパスでまとめて検証することで重みの読み込みコストを分け合う。

ドラフトモデルは5層、ブロックサイズ9のアテンションのみの構成で、各約300Mパラメータ（295.7Mまたは327.7M）である。SFT、チャット、コード、関数呼び出しのデータを混ぜて15エポック学習し、損失ではなく受理率が最も高いエポックを選んだ。グリーディデコードでは出力がベースラインと同一になるため、ベンチマーク精度は変わらないとしている。

測定はH100 80GBのSGLang（BF16）とM4 Max MacBook Proのllama.cpp（Metal、FP16 GGUF）で、バッチサイズ1、温度0、5つのデータセットで行った。LFM2.5-2.6Bの平均はH100で2.67倍（323→864 tok/s）、M4 Maxで2.27倍（61→139 tok/s）。LFM2.5-1.2B-Instructは平均でH100が2.10倍、M4 Maxが2.54倍だが、データセットによる受理率のばらつきが大きい。

LFM2.5-8B-A1Bは受理率が高くH100で平均2.54倍だが、M4 Maxでは平均1.18倍にとどまる。理由として、llama.cppのMetalバックエンドにおける現在のMoE実装と、k個のトークンの検証でより多くのエキスパートが有効化され重みの転送量が増えることを挙げている。

利用にはDSpark対応のSGLangビルド（PR #31041）またはllama.cppビルド（PR#27383）が必要で、`--speculative-algorithm DSPARK`や`--spec-type draft-dspark`などの起動例が示されている。チェックポイントはHugging FaceでSafetensorsとGGUFの両形式で公開されている。