本文へスキップ

#マルチモーダル

本日0件
10月19日月
  1. Google Developers Blog33

    TPUでビデオ拡散のSpatio-Temporal Attentionを高速化

    Sparse VideoGen(SVG)の空間・時間マスクによる理論上のスパース性を、TPU上で実際のエンドツーエンドの高速化につなげる手法を解説する。81フレーム720p動画のシーケンス長は人気のオープンソース動画生成モデルで50Kから400Kに達し、720pから1440pへの解像度向上で単一層のAttentionの遅延に占める割合は55.5%から88.2%に増加する。スパース版は単一TPU v6e上のカーネル計測で、クエリ・キーの組の約38.87%を保持して計算する。

10月16日金
  1. Hugging Face Daily Papers37

    Xiaomi-Lens-0 テクニカルレポート:視覚表現からマスクを予測する4Bマルチモーダルモデル

    Xiaomi-Lens-0は、Qwen3.5を基にした4Bのマルチモーダルモデルで、自身の視覚表現からマスクを予測して細かな領域の理解を高める。RefCOCO、RefCOCO+、RefCOCOgの計8つの分割すべてで参照理解はQwen3.5比で平均5.6ポイント向上し、セグメンテーションのcIoUは比較モデル中で最高となった。知覚系ベンチマークではQwen3.5を全て上回った。

10月15日木
  1. Apple Machine Learning Research38

    Selection-based Structured Reasoning(SSR)、効率的なマルチモーダル検索エージェントに向けて

    マルチモーダル検索エージェントの推論を、事前定義した再利用可能な候補からの選択に置き換えるSSRは、1ターンあたりの推論レイテンシを90%以上削減する。質問ごとの総推論レイテンシは28〜54%削減され、2Bと4Bのモデルによる7つのマルチモーダル検索ベンチマークでは、同規模の主要な検索エージェントに匹敵する平均成功率を示した。強化学習と教師ありファインチューニングのいずれでも、タスク性能を落とさず効率を高めた。

  2. Hugging Face Daily Papers44

    ACT3D、強化学習で視覚言語モデルが3D空間を能動的に探索することを学習

    ACT3Dは、単一の一人称視点画像から3D環境を能動的に探索するよう強化学習で訓練された視覚言語モデル(VLM)であり、6つの3Dベンチマークの平均精度53.2%を達成して、ベースのQwenモデルを22.0%上回り、プロプライエタリモデルのGemini 3.6 Flashも超えた。既存のオープンソース3D手法より入力フレームを50〜70%少なくしながら上回り、未知のドメインでも教師ありの初期化モデルより平均5.9%改善した。ベースモデルに対する改善幅は、初期視点で答えられる質問の0.6%から、広範な探索を要する質問では16.3%に拡大した。

  3. Hugging Face Daily Papers34

    MJev-Spatial、単一パス分類で空間推論を高速化するマルチモーダル判断モデルを発表

    MJev-Spatialは、空間推論タスクを単一パスの分類フレームワークに統合したマルチモーダル判断モデルで、Qwen3.5-4Bを基に学習されている。8つのテストモデルの中で総合スコア65.64%を達成し、12のベンチマークのうち7つで首位となった。未改変の自己回帰ベースモデルは12すべてで下回り、最速の自己回帰ベースラインより2.5倍、ベースモデルより5.6倍高速に動作する。

10月14日水
  1. Apple Machine Learning Research40

    Apple、三モーダルMasked Diffusion Modelsの設計空間を大規模に分析

    Appleの研究者らが、テキスト、画像とテキストの組、音声とテキストの組で事前学習した初の三モーダルMasked Diffusion Models(MDM)を提示し、その設計空間を体系的に分析した。予備モデルは3B規模・6.4Tトークンで、テキスト生成、T2I、T2Sの各タスクで強い結果を得たとしている。また、物理的なバッチサイズと論理的なバッチサイズを分離するSDEベースの再パラメータ化により、最適バッチサイズの調整を不要にしたと報告している。

  2. Hugging Face Daily Papers41

    RoTA-Bench、対話型の投影アライメントで3D空間推論を評価

    RoTA-Benchは、2D観測から精密な3D回転制御へ変換するVision-language modelの能力を、対話型の3D-2D投影アライメント課題で評価するベンチマークである。GPT-5.6-Solの成功率は課題の17%にとどまり、学部生20人がテスト集合を4回完了した際の成功率100%と大きな差がある。モデルは人間に比べ、同じ状態で画像の重なりを改善しつつ姿勢のアライメントを悪化させる割合が高く(19.4%対10.9%)、操作履歴を除くと行動の96.8%が30度刻みの粗いステップになり、成功率も大きく低下する。

  3. Hugging Face Daily Papers39

    WorldCast、世界状態予測における知的な視覚生成を探る

    多段階の世界状態予測を評価するベンチマーク「WorldCast」が提案された。8カテゴリ320件のケースで12モデルを評価した結果、GPT-Image-2.5 Systemは72.8点、Nano Banana Proは42.8点、最良のオープンソースモデルは20.1点だった。強力な生成モデルは基盤の言語モデルの能力も効果的に活用している。

10月12日月
  1. Import AI45

    Import AI 476:視覚的直観推論ベンチマークHSS、宇宙へ向かうAI競争、AIの研究センス

    ElorianとScale AIが、視覚シーンが暗示する情報の推論力を測るベンチマーク「Humanity's Sixth Sense」を公開した。人間のpass@1が93.1に対し、最高のGPT 6 Astraは53.6、GLM-5.3-flashは26.8、Kimi K3は25.5だった。ほかに、宇宙でのAIの優位性を論じたAI Frontiersの記事と、AIの研究センスを測るTasteValも取り上げている。

10月10日土
9月30日水
  1. SB Intuitions ブログ39

    LingBot-World Fast、動画ワールドモデルの再訪一貫性に向けた学習不要のメモリポリシーを比較

    SB Intuitions Creative Vision Teamが、LingBot-World Fastを対象に、学習なしで推論時に適用できるメモリポリシーを比較した。full attention、ウィンドウ制限、attention sink、明示的検索、camera-aware attention、RELIC着想の圧縮キャッシュを同一モデルで検証した結果、単独の勝者はなく、優劣はカメラの戻り方で変わる。評価にはPSNR、SSIM、LPIPS、DINO similarityを用いた。

9月25日金
  1. Google Research Blog41

    Google Research、GeminiとVeo上で長尺動画の一貫性を自動制御するAIビデオ共同監督フレームワークを発表

    Google Researchは、GeminiとVeoの上に構築したマルチエージェント型のAIビデオ共同監督フレームワークを発表した。複数カットにわたる視覚的な一貫性を計画し、キャラクターや環境のずれを抑えながら数分規模の動画生成を目指す。創作方向の選択にはマルチアームドバンディットを用い、Pre-Production、Production、MLLM Judgeの各エージェントが制作を進める。SynthIDによる透かしなどの安全機構も継承するとしている。

8月26日水
  1. Google Research Blog32

    AgentHands、XRで空間に根ざしたエージェント対話向けの手ジェスチャーを生成

    Googleは、XR上でAIエージェントの音声に合わせて手のジェスチャーを生成する研究プロトタイプ「AgentHands」を発表した。CHI 2026で発表された研究で、LLMの応答に埋め込まれたジェスチャーイベントを、単語単位のタイムスタンプを使って音声と同期させる。12名を対象とした被験者内実験では、音声のみのベースラインと比べて空間的なグラウンディングが有意に向上したと報告されている。

8月19日水
  1. SB Intuitions ブログ34

    SB Intuitions、リアルタイム対話キャラクター向けストリーミング音声駆動動画生成を紹介

    SB Intuitionsは、ストリーミング音声を入力に対話キャラクターの動画応答を生成する、音声駆動動画生成のエンドツーエンド試作を紹介した。ベースにはLTX 2.3を用い、Self-Forcingを改良したODE初期化とDMD蒸留の2段階でポストトレーニングして自己回帰モデルを得ている。推論では参照画像と最初の動画チャンクのトークンをアテンションシンクとして保持する。

6月5日金
  1. Google Research Blog63

    Google Research、スマートフォンのカメラで心拍を受動的に計測するPHRMをNatureで発表

    Google Researchは、顔認証のアンロック直後にフロントカメラで撮影した顔動画から、日常のスマホ利用中に心拍数(HR)と安静時心拍数(RHR)を推定する研究システムPHRMを発表した。論文はNatureに掲載された。HRの誤差はMAPEで10%未満、日次RHRはウェアラブル比でMAE 5 bpm未満である。大規模データセットと学習済みモデル「PHRM-mini」も、資格のある研究者向けに公開する。

    選定理由:顔認証時の短い動画から心拍を推定する手法を、肌の色の多様性に配慮した検証設計と実環境での結果とともに確認できる。

5月29日金
  1. Google Research Blog67

    Google Research、I/O 2026で科学・医療・気象・量子など研究成果を総括

    Google Researchは、I/O 2026で披露した研究成果を公式ブログで総括した。Gemini for Scienceを発表し、ERAとCo-ScientistはNatureに掲載されたと説明している。医療ではSymptom AIやAMIE、MedGemmaを取り上げ、気象ではWeatherNextやGroundsourceによる洪水予測も紹介している。

    選定理由:科学、医療、気象、量子など分野ごとにGoogle Researchの成果と提供状況が整理されており、I/O 2026の研究面の全体像を把握しやすい。

12月19日金
  1. Turing 技術ブログ(Zenn)33

    「画像なし」で挑むVLM学習、Text-Printed Imageによるアプローチ

    Turingのインターン研究チームが、テキストを白い画像に印字したText-Printed Image(TPI)を入力に使い、実画像なしでVLMを学習する手法を提案した。実験では、テキストをそのまま使う学習(Text-only)より大きな性能向上を示し、一部のタスクではGT-Image(実画像による学習)に迫る改善も見られた。GPT-4o-miniを用いたSelf-Instructによるデータ拡張(1万サンプル生成)でも、シードデータが少ない場合と完全な場合の両方で性能が向上したと報告されている。