SageMaker AI上のKokoro TTS：低遅延配信とオートスケーリング設計
これまでの経緯
AWS Machine Learning Blogは2026年10月23日、Amazon SageMaker AI上でTTS（音声合成）モデルKokoro-82Mを運用するための手法を2本の記事で解説した。1本目はオートスケーリングの目標値の決め方、2本目はAIエージェントの音声を低遅延でストリーミングする方法を扱っている。 オートスケーリングの記事は、目標値を推測ではなく実測で決めることを主張している。Kokoro-82Mのカスタムコンテナ展開を例に、SLOを満たす1インスタンスあたりの最大同時実行数Q_maxと、スケールアウトにかかる所要時間T_totalを実環境で計測する。この2つの値から、スケールアウト・スケールインの閾値とクールダウンを算出する。スケーリング指標にはSageMaker AIが公開するConcurrentRequestsPerModelを使う。 ストリーミングの記事は、AIエージェントが文を1つ生成するたびにその文をKokoro-82Mへ送り、全文の生成完了を待たずに音声合成を始める手法を説明している。Kokoro-82Mは82百万パラメータのモデルで、SageMaker AIのリアルタイムエンドポイント上のml.g5.xlarge GPUインスタンスで動作する。コンテナはPOST /invocationsとWS /invocations-bidirectional-streamの2つのルートを公開する。報道では、これ以上の詳細な数値や各手法の比較結果は示されていない。
報道をもとにAIが作成しました・1 分前更新
新たな動き
- 10月23日 02:45 · 1件の報道Amazon SageMaker AI上のKokoro TTSで、AIエージェントの音声を低遅延にストリーミングAWS Machine Learning Blog:Amazon SageMaker AI上のKokoro TTSで、AIエージェントの音声を低遅延にストリーミング
- 10月23日 01:30 · 1件の報道SageMaker AIでTTSのオートスケーリング目標値を実測で決める方法AWS Machine Learning Blog:TTS向けAmazon SageMaker AIのAuto Scaling目標値を推測で決めない
報道タイムライン
報道を追って、ストーリーのさまざまな側面を確認しましょう。
- AWS Machine Learning BlogAmazon SageMaker AI上のKokoro TTSで、AIエージェントの音声を低遅延にストリーミング
AWS Machine Learning Blogは、AIエージェントが文を生成するたびにその文をKokoro-82M TTSモデルへ送り、全文の生成を待たずに音声合成を始める手法を解説している。Kokoro-82M（82百万パラメータ）はSageMaker AIのリアルタイムエンドポイント上でml.g5.xlarge GPUインスタンスにより動作し、コンテナはPOST /invocationsとWS /invocations-bidirectional-streamの2つのルートを公開する。
- AWS Machine Learning BlogTTS向けAmazon SageMaker AIのAuto Scaling目標値を推測で決めない
Amazon SageMaker AI上でTTSエンドポイントのAuto Scaling目標値を推測ではなく実測で決める方法を、Kokoro-82Mのカスタムコンテナ展開を例に示す。SLOを満たす1インスタンスあたりの最大同時実行数Q_maxと、スケールアウトの所要時間T_totalを実環境で計測し、そこからスケールアウト・スケールインの閾値とクールダウンを算出する。スケーリング指標にはSageMaker AIが公開するConcurrentRequestsPerModelを用いる。
このニュースの注目度の推移
推移を表示するための継続的な観測データがまだ足りません。