Speculative Decoding:GPUを増やさず推論を高速化
ELYZAは、vLLMの推論サーバにSpeculative Decodingを適用し、同一ハードウェアのまま推論throughputを最大約1.7倍に高めた。ELYZA-tasks-100での評価では、Llama3.2-1Bをdraft modelとし、num_speculative_tokens=4としたときに最も高いTPS(32.25)を記録し、Speculative Decoding無しの18.90を上回った。GPT-4oスコアはベースラインの4.03とほぼ同等で、性能劣化は見られなかったとしている。