ヒープは嘘をつく：vLLMのメモリリークをデバッグ

Mistral AIのエンジニアチームが、vLLMで発生したメモリリークの原因を追跡した過程を解説する。Mistral Medium 3.1を使い、グラフコンパイルを有効にした条件下で、システムメモリが毎分400MBずつ線形に増加していた。Prefill/Decode分離構成のdecode側でのみ再現し、Heaptrackではヒープメモリは安定していたが、ヒープ外のピークRSSに差が出ていた。