Ray LLM Deep Learning Containersでマルチノード推論を実行する

AWSは、Amazon EKS上の2つのGPUノードに1つの大規模言語モデルを配備し、prefillとdecodeを別ノードに分けてOpenAI互換エンドポイントの背後で動かす方法を解説している。prefillを担うノードが長いプロンプトを処理し、decodeを担うノードがトークン生成を行うことで、計算負荷の高いprefillがトークン生成を滞らせるのを防ぐ。