Hugging Face、オンデバイス音声合成モデルPhononを公開

Phononはサーバーもネットワークも不要で端末上で動く小型のtext-to-speechモデルで、入力テキストは端末内に留まる。サイズは約65 MBと75 MBの2種類。英語、フランス語、ドイツ語、スペイン語、ポルトガル語に対応し、100以上の内蔵音声がある。電話番号、日付、コードの読み上げにも対応し、スマートフォン、ノートPC、シングルボードコンピュータ、ブラウザのタブで動作する。 ライセンスは、英語対応のPhonon 31mがApache 2.0で商用利用も可能。5言語対応のPhonon 40mなど他のモデルはCC BY-NCで非商用向けとなる。商用で使う場合の料金は、生成する音声量ではなくユーザー数に基づく。PhononはPocket TTS系統を基にしており、音声生成にflow matchingを使う。学習は当初数値的に不安定で、5言語で品質を出すためにいくつかの工夫が必要だったという。 Open TTS Leaderboardは23言語で、明瞭度（単語誤り率）、速度、自然さ（英語はUTMOS、韓国語はKOMOS）を評価する。Phononは明瞭度でドイツ語とスペイン語が1位、評価した全言語でトップ3に入り、最大100倍のサイズのモデルと並ぶ。速度ではCPUストリーミングのtime-to-first audioで首位で、添付の図ではPhonon 31m enが28 ms、40m enが38 msである。 推論用に新しいフレームワークpttsを開発し、CPU（Intel、Arm、WebAssembly）、GPU（CUDA、Vulkan、Metal、WebGPU）、NPU（Apple Core ML、Snapdragon）など10以上のバックエンドに対応する。Transformers v5.21からは参照PyTorch実装として利用でき、バッチ生成やtorch.compileによる大規模なデータセット合成に向く。音声は録音ではなく話者の潜在表現のテンソルとして扱い、事前計算済みの音声がgradium/phonon-voicesで配布されている。 今後は、短い録音から本人の同意を得たうえでのボイスクローンや、テキストで記述する音声デザインをGradium Studioで利用できる。メモリ制約が厳しい場合の小型化、韓国語、アラビア語、日本語への対応、独自語彙へのファインチューニングも、デザインパートナーと進める方針である。

Hugging Face Blogより