Deepgram、AWS Trainiumで音声AIの推論を大規模に最適化した方法

Deepgramは音声認識モデルNova-3をAWS Trainium2に移植し、オフラインのバッチ処理で従来の計算基盤より1ドルあたりの処理音声量を11〜70%多くした。最終構成では、単一のAmazon EC2 trn2.3xlargeインスタンス上で8つのモデルレプリカを動作させる。カーネル調整では、FFN層がバッチサイズ96でリファレンスカーネルに比べ遅延が2.0倍低減し、depthwise conv1dは1.5倍の高速化を達成した。