Youtu-Parsing-Omni、1つのエンコーダとスキーマで全モダリティを構造化する5Bパーサー
Youtu-Parsing-Omni: One Encoder, One Schema, All Modalities
Youtu-Parsing-Omniは、文書・画像・音声・動画を時空間に基づく構造化レコードへ変換する5Bのオムニモーダルパーサーである。OmniDocBench v1.6で96.96（Overall）を記録し、OmniParsingBenchではオープンウェイトモデルで首位の75.08（Avg.）となった。コードとモデルの重みは公開されている。
中核は、全モダリティに共通の重みで動くYoutu-Omni-Encoderと、全タスクの出力を統一するOmniSchemaである。エンコーダは事前学習済み言語モデルで初期化され、テキスト読み取りを強化している。統一された時空間座標系で入力を扱い、少数の融合層で動画フレームが同時刻の音声に注目できる。
学習にはOmniSchema-Aware On-Policy Distillation（OSAD）という自己進化型のポストトレーニングを用いる。各ラウンドでモデルは自身のロールアウトに対し、参照条件付きの自分自身のコピーが与えるトークン単位のターゲットで学習する。そのコピーは学習後の重みで更新され、パーサーと教師信号が共に進化する。10種類のパースタスクで共通のトークンロール基準の目的関数を使える。
結果は、単一の5Bチェックポイントで、OmniDocBench v1.6で96.96、OmniParsingBenchで75.08（Gemini-3-Proに次ぐ）である。優位は音声と動画に集中している。チャート解析は95.02で最良、化学フィンガープリントの完全一致率も比較対象で最高、組版された楽譜の文字レベル転写では専用の光学音楽モデルに並ぶという。
出力は、文書ページ、自然画像、チャート、フローチャート、幾何図形、音声、動画といった入力ごとに、タスクプロンプトで切り替わる1つのJSONエンベロープになる。レイアウト要素、bbox、表、数式、タイムスタンプ、ASR、OCR、キャプションなどを含む。Hugging Faceにはtencent/Youtu-Parsing-Omniが公開され、vLLMプラグインやタスクプロンプト、推論例も用意されている。
出典: Hugging Face Daily Papers · huggingface.co