Google DeepMind、手話からテキストへの翻訳モデルSL2Tを発表 Pixel 11のGboardなどに搭載

SL2Tは100,000時間超、50以上の手話のデータで学習した多言語モデルで、データの約4分の1がASLである。複数の言語や方言、習熟度を合わせて学習させることで共通構造を学び、実験では単一言語モデルを上回ったという。Gboardでは手話で検索やメッセージ作成、Geminiへの指示ができ、Live Transcribeでは会話中に手話で返答できる。追加費用はなく、まずPixel 11で提供し、対応端末と言語は今後広げる予定である。

設計上の特徴はプライバシーへの配慮と翻訳方式にある。端末上のMediaPipe Holisticが体の各点の座標を追跡し、サーバーには座標列だけを送るため、元の映像はすぐ破棄できる。また、従来研究で広く使われてきたグロス（中間注釈）を使わず、座標列から直接テキストへ翻訳する。グロスは非手指標識や空間的な構造を捉えにくく、直接翻訳なら語彙の上限がなくなり、品質がデータ量に応じて伸びるとしている。

実用面では、ストリーミング遅延の最小化、手話以外の入力でのハルシネーション防止、利き手が左の約10%の署名者への公平性、スマートフォンを片手で持ったままの片手手話への対応にも取り組んだ。FLEURS-ASLの例では流暢な英語に翻訳できる一方、まれな手話、素早い指文字（「prey」が「grey」になる）、受動構文、クラシファイア表現（「claws」の脱落）、文脈のない時制（「kicked off」が「start」になる）で誤りが残る。

開発はろう者コミュニティと進められ、構想はろう者のGoogle社員Sam Sepahが担った。責任ある展開のため、各国のろう者団体や専門家によるAI Sign Language Advisory Committee（AISLAC）を設置し、SL2T 1.0のリリースに合わせて能力と限界をまとめた共同の影響報告書を公開した。今後は対象の手話の拡大、手話生成、先端的なAI機能への展開を目指す。