AWS上で超低遅延の音声AIアプリケーションを構築、Cartesiaの事例

Cartesiaは、State Space Models（SSM）を基盤とする音声合成モデルSonicと音声認識モデルInkにより、100ms未満の遅延で音声処理を実現し、AWS上での展開方法を紹介している。Sonicは最初の音声バイトまで約90msで、44言語以上に対応し、10秒の音声サンプルからボイスクローンを作成できる。Inkはネイティブのターン検出を備え、別途のVADモデルなしで発話の終了を判定する。