TTS向けAmazon SageMaker AIのAuto Scaling目標値を推測で決めない

Amazon SageMaker AI上でTTSエンドポイントのAuto Scaling目標値を推測ではなく実測で決める方法を、Kokoro-82Mのカスタムコンテナ展開を例に示す。SLOを満たす1インスタンスあたりの最大同時実行数Q_maxと、スケールアウトの所要時間T_totalを実環境で計測し、そこからスケールアウト・スケールインの閾値とクールダウンを算出する。スケーリング指標にはSageMaker AIが公開するConcurrentRequestsPerModelを用いる。