長く使えるAIサービング・ハーネスの設計

企業AIの競争力は、モデルの選定よりも、アーキテクチャ、メモリ管理、スケジューリング、最適化といったモデル周辺のサービング・ハーネスの設計で決まると主張する。推論時はモデルの重みが固定でも、KVキャッシュがアクティブなリクエストとコンテキスト長に応じて増大するため、計算資源に余裕があってもGPUメモリが不足しうる。そのため、まず計測してボトルネックを特定し、対処と再計測を繰り返す進め方が提案されている。

MIT Technology Review AIより

推移を表示するための継続的な観測データがまだ足りません。