DeepSeek、推論エンジンDeepInferをオープンソース化。単一クラスタで1日155Tトークンを処理

DeepInferはDeepSeek V4.1 Flashの推論エンジンで、分散推論、投機的デコード、SWA Bounded Replay、構造化出力に対応し、NVIDIAとHuawei Ascendで動作する。付属のdeepseek-recipeはChat Completions、Responses、Messagesの各APIに対応したトークン処理を実装する。ただしKVキャッシュ管理とロードバランシングは社内インフラと結合しているため、未公開のままである。

アーキテクチャでは、ビジョンエンコード、プリフィル、デコードを分離して個別にスケールさせる。プリフィルはリクエスト長ではなく推定アテンション計算量で割り当て、永続KVは約100 PiBのSSDを持つ別の3FSクラスタに置く。保持期間はエージェント向けで3日、チャットボット向けで7日と報告されている。155Tトークン/日はキャッシュヒットを含む数字で、新規生成トークン数ではない点が重要である。

経済性では、アクセラレータ1時間あたり38ドルの売上が焦点になった。ハードウェア費用を5〜10ドル/時間と置くと約73.7〜86.8%のマージンになるが、SSD群、ネットワーク、人件費などは含まれず、監査済みの数字ではない。Latent Spaceは全体コストを前提にGWあたりの回収期間も試算しているが、これは推計である。

vLLMチームはGB200の同一構成でデコードスループットがDeepInferの公表値の6%以内だったと報告し、再現レシピも公開した。ただしこれはデコード段階の比較で、サービス全体の再現ではなく、競合エンジン側の自己申告でもある。同じ記事ではV4.1 Flashの評価、OpenAIの12時間プロンプトキャッシュ、Muse Glimmerなど他の話題も扱われている。