Sony AI、効果音生成の基盤モデルWooshを発表

Wooshはテキストから音声を生成するtext-to-audioと、動画から音声を生成するvideo-to-audio（任意でテキストプロンプトを併用）の2つのタスクに対応する。video-to-audioはゲームや映画の制作現場を意識した機能で、視覚的な素材を見ながら作業する音響デザイナーを想定している。FoleyBenchでは、同等のベースラインより少ないパラメータで、音質と意味的整合性の指標を上回ったとされる。

非公開モデルはPro Sound Effects、BOOMといった商用の効果音ライブラリで学習した。公開データは環境音や重なったノイズ、ゆるいラベルの音声が多い一方、プロ向けライブラリは単独で録音された音と精密な注釈を持つ。技術レポートでは、非公開モデルがプロ向け効果音データで公開の代替モデルを大きく上回り、公開モデルは公開ベンチマークで同等のオープンソースモデルを上回ると説明している。

今後はデジタルオーディオワークステーション向けのプラグインを開発中で、バリエーション生成、インペインティング、パーソナライズに対応する予定である。ロードマップには、精密な時間制御、ある音を別の音へ変化させるモーフィング、完全なループ生成、少数の音声サンプルからのパーソナライズも含まれる。

公開版は非商用で、モデルの重みと推論コードがhttps://sonyresearch.github.io/Woosh/ から利用できる。非公開モデルのWoosh-Flow Privateはhttps://sonyresearch.github.io/Woosh/flow-private.html で紹介されている。チームは、ライセンス済みの専門ライブラリで学習する方針や、プラグインの制御機能を、音響の専門家の懸念に向き合う姿勢の表れとしている。