Youtu-Parsing-Omniを公開、全モダリティ統一パーサー
これまでの経緯
中核は、全モダリティに共通の重みで動くYoutu-Omni-Encoderと、全タスクの出力を統一するOmniSchemaである。エンコーダは事前学習済み言語モデルで初期化され、テキスト読み取りを強化している。統一された時空間座標系で入力を扱い、少数の融合層で動画フレームが同時刻の音声に注目できる。 学習にはOmniSchema-Aware On-Policy Distillation（OSAD）という自己進化型のポストトレーニングを用いる。各ラウンドでモデルは自身のロールアウトに対し、参照条件付きの自分自身のコピーが与えるトークン単位のターゲットで学習する。そのコピーは学習後の重みで更新され、パーサーと教師信号が共に進化する。10種類のパースタスクで共通のトークンロール基準の目的関数を使える。 結果は、単一の5Bチェックポイントで、OmniDocBench v1.6で96.96、OmniParsingBenchで75.08（Gemini-3-Proに次ぐ）である。優位は音声と動画に集中している。チャート解析は95.02で最良、化学フィンガープリントの完全一致率も比較対象で最高、組版された楽譜の文字レベル転写では専用の光学音楽モデルに並ぶという。 出力は、文書ページ、自然画像、チャート、フローチャート、幾何図形、音声、動画といった入力ごとに、タスクプロンプトで切り替わる1つのJSONエンベロープになる。レイアウト要素、bbox、表、数式、タイムスタンプ、ASR、OCR、キャプションなどを含む。Hugging Faceにはtencent/Youtu-Parsing-Omniが公開され、vLLMプラグインやタスクプロンプト、推論例も用意されている。
Hugging Face Daily Papersより
報道タイムライン
報道を追って、ストーリーのさまざまな側面を確認しましょう。
- Hugging Face Daily PapersYoutu-Parsing-Omni、1つのエンコーダとスキーマで全モダリティを構造化する5Bパーサー
Youtu-Parsing-Omniは、文書・画像・音声・動画を時空間に基づく構造化レコードへ変換する5Bのオムニモーダルパーサーである。OmniDocBench v1.6で96.96（Overall）を記録し、OmniParsingBenchではオープンウェイトモデルで首位の75.08（Avg.）となった。コードとモデルの重みは公開されている。
このニュースの注目度の推移
現在の注目度 3·比較可能なピーク 3（10月31日 01:00）·24時間の比較可能な増減 –
推移は、継続的かつ完全に観測できたアカウントのみを比較しているため、現在の注目度の数値より範囲が狭くなる場合があります。ポインターを動かすかグラフをタップすると、1時間ごとの注目度を確認できます。キーボードでは左右の矢印キーを使います。