本文へスキップ

#音声

本日0件
10月14日水
  1. Apple Machine Learning Research27

    音声基盤モデルの言語選択的次元によるコードスイッチング検出

    研究チームは、事前学習済み音声エンコーダの言語選択的な隠れ状態次元を使い、音声から直接コードスイッチング(発話内で言語が切り替わる現象)を検出する軽量な手法を提案した。CS-FLEURSの14言語ペアで、Whisper-smallエンコーダは平均F1 0.798を達成し、CNNの0.776、単一言語識別用に学習したHuBERT線形ベースラインの0.751を上回った。結果は、事前学習済み音声エンコーダがCS発話の識別に必要な情報をすでに符号化していることを示唆している。

8月28日金
  1. Hugging Face Blog58

    Open ASR Leaderboard、Voice Arenaと組みHindiとインド英語のMonsoon評価セットを追加

    Hugging FaceとVoice Arenaは、Open ASR LeaderboardにMonsoon en-INとMonsoon hi-INの2つの評価セットを追加した。Hindiは、これまで欧州言語のみだった多言語タブで初のインド系言語となる。4つのスプリットは計4,888人の話者を含み、各話者に12の属性が記録されている。

8月21日金
  1. Hugging Face Blog52

    Hugging Face、音声認識ベンチマークへの最適化を測る3つのテストを提案

    Hugging Faceは、音声認識(ASR)モデルが公開ベンチマーク固有のパターンに最適化されているかを測る3つのテストを提案した。オープンソースASRモデル11件を評価したところ、スコア上位の複数モデルが、音声と矛盾する場合でもVoxPopuliやLibriSpeechの参照書き起こしを再現した。Open ASR Leaderboardには「Benchmark fitting」タブが追加された。

8月19日水
  1. SB Intuitions ブログ34

    SB Intuitions、リアルタイム対話キャラクター向けストリーミング音声駆動動画生成を紹介

    SB Intuitionsは、ストリーミング音声を入力に対話キャラクターの動画応答を生成する、音声駆動動画生成のエンドツーエンド試作を紹介した。ベースにはLTX 2.3を用い、Self-Forcingを改良したODE初期化とDMD蒸留の2段階でポストトレーニングして自己回帰モデルを得ている。推論では参照画像と最初の動画チャンクのトークンをアテンションシンクとして保持する。

7月15日水
6月2日火
5月7日木
  1. Sony AI ブログ38

    Sony AI、ICASSP 2026で11本の採択論文を発表 研究ラウンドアップ

    Sony AIは、5月にバルセロナで開催されるICASSP 2026で11本の採択論文を発表する。テーマは音楽理解、生成オーディオ、音声と映像のアライメント、データ品質の4つである。歌詞照合のWEALYは、Whisperのデコーダ埋め込みを使い、書き起こしなしで音声から歌詞情報を抽出する。3つの公開データセットすべてで書き起こしベースのベースラインを上回り、コードとモデルのチェックポイントも公開される。