Hugging Face Blog·· 2026年7月8日AIスコア41
vLLMのtransformersモデリングバックエンド、ネイティブ並みの速度に
Native-speed vLLM transformers modeling backend
AIによる概要
vLLMのtransformersモデリングバックエンドは、多くのLLMアーキテクチャでカスタムのvLLM実装と同等かそれ以上の速度を達成した。--model-impl transformersフラグを付けるだけで利用でき、Qwen3-4B、Qwen3-32B、Qwen3-235B-A22B-FP8の3モデルの比較では、いずれもネイティブ実装と同等以上のスループットを示した。実行時にtorch.fxで計算グラフを解析し、融合演算を適用することで高速化を実現している。
出典: Hugging Face Blog · huggingface.co