本文へスキップ

#マルチモーダル

本日1件
今日10月20日火
  1. AWS Machine Learning Blog38

    TwelveLabs、Pegasus 1.5をAmazon Bedrockで提供開始

    TwelveLabsの動画言語モデルPegasus 1.5がAmazon Bedrockで利用可能になった。長尺動画を解析し、指定した条件に合致する区間をタイムスタンプ付きの構造化JSONで返す。Amazon S3のURIまたはbase64文字列から、事前のインデックス作成なしで動画を解析でき、動画の処理能力は1リクエストあたり最大2時間まで拡大された(Pegasus 1.2は1時間)。

10月19日月
  1. xAI News35

    xAI、画像から動画を生成する grok-imagine-video-1.5-preview をAPIでプレビュー公開

    xAIは、静止画から動画を生成する画像から動画へのモデル「grok-imagine-video-1.5-preview」を、xAI APIでプレビュー提供開始した。開始フレームと動きを説明するプロンプトを与えると、カメラの動き、雰囲気、物理表現を含めて場面をアニメーション化し、入力画像に忠実な映像を生成する。最大720pのクリップを作成でき、複数のシーンを連結して、プロジェクト全体で一貫した見た目の長い映像を作ることもできる。

  2. xAI News58

    xAI、画像から動画を生成するGrok Imagine Video 1.5をImagine APIで一般提供

    xAIはGrok Imagine Video 1.5をImagine APIで一般提供し、高速版のVideo 1.5 Fastをgrok.com/imagineとiOS・Androidアプリで公開した。Video 1.5 Fastは6秒、720pの動画を約25秒で生成し、従来モデルの40秒以上から短縮された。Projects、複数エージェントの並列実行、ライブラリ検索の新機能も数日かけて順次提供される。

  3. xAI News60

    xAI、Imagine Video 1.5に画像・音声リファレンスと1080p生成を追加

    xAIは動画生成モデルImagine Video 1.5に、画像と音声のリファレンス、プロンプトのみのtext-to-video、ネイティブ1080p生成を追加した。リファレンスは1回の生成で最大7つまで使え、顔や商品、場所などを固定できる。画像・音声リファレンスは米国のSuperGrok HeavyとSuperGrok Plus向けに先行提供され、数日以内に全プランへ拡大する。

    選定理由:参照画像と音声参照で人物や場面を固定でき、提供範囲とAPI対応も具体的に示されているため、動画制作での使い方を想定しやすい。

  4. xAI News58

    xAI、Imagine Image 2.0を一般提供開始 精密な画像生成と編集に対応

    xAIは画像生成モデルImagine Image 2.0を、grok.com/imagineとiOS・AndroidアプリのQuality Modeとして一般提供した。指示への忠実さ、タイポグラフィとレイアウトの計画、生成や編集をまたぐ内容の保持を特徴とする。APIではgrok-imagine-image-2.0として利用でき、Arenaのtext-to-imageと画像編集の両方で総合Elo世界2位としている。

  5. Google Developers Blog33

    TPUでビデオ拡散のSpatio-Temporal Attentionを高速化

    Sparse VideoGen(SVG)の空間・時間マスクによる理論上のスパース性を、TPU上で実際のエンドツーエンドの高速化につなげる手法を解説する。81フレーム720p動画のシーケンス長は人気のオープンソース動画生成モデルで50Kから400Kに達し、720pから1440pへの解像度向上で単一層のAttentionの遅延に占める割合は55.5%から88.2%に増加する。スパース版は単一TPU v6e上のカーネル計測で、クエリ・キーの組の約38.87%を保持して計算する。

  6. Google Developers Blog56

    Google DeepMind、オープンウェイトのマルチモーダル埋め込みモデルEmbeddingGemma 2を公開

    Google DeepMindは、テキスト、画像、動画フレーム、音声を単一のベクトル空間に写像するオープンウェイトの埋め込みモデルEmbeddingGemma 2を公開した。パラメータ数は740Mで、Google Pixel 11 Pro上のアクティブRAMはテキストのみで約191MB、フルマルチモーダルで約567MBとされる。Google AI Edge GalleryとForesightでのデモに加え、MediaPipe TasksやLiteRTで開発できる。

  7. Google Developers Blog62

    Google、Gemma 4ベースの埋め込みモデルEmbeddingGemma 2を公開、5種類のデータを統一空間に

    GoogleはGemma 4をベースにしたApache 2.0ライセンスのオープンモデルEmbeddingGemma 2を公開した。テキスト、コード、画像、動画、音声を768次元の共通ベクトル空間に変換し、270Mから740Mパラメータまで必要なエンコーダーだけを読み込める。MTEB (Code)ではEmbeddingGemma 1より14%高いスコアを示している。

    選定理由:モジュール式エンコーダーと次元削減の選び方が数値付きで整理されており、自分の検索基盤の構成を検討する際の比較材料になる。

  8. Google Developers Blog59

    Google、ロボティクス向けGemini 4 Argonを公開、ERQAで87%

    GoogleはGemini 4 Argonを公開した。物理的理解、コード生成、視覚・意味推論が向上し、ERQAベンチマークでは推論のみで87%を記録して他のフロンティアモデルを上回ったとしている。ロボット制御、Real2Sim、物理理解、研究・自己改善の4分野の代表的なプロンプトも紹介している。Google AI StudioやGemini APIなどで利用できる。

10月16日金
  1. NVIDIA62

    NVIDIAはオープンモデルのNemotronファミリーに、Nemotron 3.5 Super VLを加えた。視覚理解、推論、ツール利用を組み合わせ、AIエージェントがより短時間で多くの作業を完了できるようにするという。総パラメータ120B、アクティブ12Bで、テキスト、画像、ドキュメント、動画の理解に対応する。

    引用元NVIDIA AI@NVIDIAAI

    Meet NVIDIA Nemotron 3.5 Super VL Our new open model combines reasoning and tool use with text, image, document, and video understanding for long-running AI agents. 120B total parameters with 12B active 🧵

  2. NVIDIA Blog56

    NVIDIA、Nemotron 3.5 Super VLとBolt 74B-A9B 24GBをオープンモデルとして公開

    NVIDIAは1200億パラメータのオープンモデルNemotron 3.5 Super VLと、エッジ向けのNemotron 3.5 Bolt 74B-A9B 24GBを公開した。Bolt E4B 4GBは10月23日に提供予定である。Super VLは同クラスで次点の5倍高速なスループットとされ、Hugging Faceなどから利用できる。

10月15日木
  1. Hugging Face Blog41

    Apertus 1.5、画像・音声理解と思考モードを追加

    Apertus 1.5は、Apertus 1.0の8Bおよび70Bモデルを拡張した最新版で、画像と音声の理解、任意で使える思考モード、4倍となる262,144トークンのコンテキストウィンドウを備える。8Bと70Bの重みは2026年7月24日にHugging FaceでApache 2.0ライセンスのもと公開された。学習データは8Bモデルに4兆トークン、70Bモデルに2兆トークンの継続事前学習を加えており、合計はそれぞれ19T、17Tである。

  2. Apple Machine Learning Research38

    Selection-based Structured Reasoning(SSR)、効率的なマルチモーダル検索エージェントに向けて

    マルチモーダル検索エージェントの推論を、事前定義した再利用可能な候補からの選択に置き換えるSSRは、1ターンあたりの推論レイテンシを90%以上削減する。質問ごとの総推論レイテンシは28〜54%削減され、2Bと4Bのモデルによる7つのマルチモーダル検索ベンチマークでは、同規模の主要な検索エージェントに匹敵する平均成功率を示した。強化学習と教師ありファインチューニングのいずれでも、タスク性能を落とさず効率を高めた。

  3. Hugging Face Blog69

    Meta、オープンウェイトのマルチモーダルMoEモデル「Muse Spark Open」を公開

    Metaはオープンウェイトのモデル「Muse Spark Open」を公開した。総パラメータ約816B、トークンあたりのアクティブ約42BのMoEで、テキスト、画像、音声、動画を入力でき、コンテキストウィンドウは最大1Mトークンである。Hugging Face Blogでは、transformers、llama.cpp、SGLang、vLLM、MLXでの実行方法とTRLによるファインチューニング、デモを紹介している。

    選定理由:総パラメータ約816B、アクティブ約42Bという構成と、各推論環境での動かし方や必要なメモリ量がまとまっており、導入規模を見積もる材料になる。

  4. Hugging Face Blog60

    Black Forest Labs、FLUX.3 Image Kleinを公開 Diffusersで初日から利用可能

    Black Forest LabsのFLUX.3 Image Kleinが公開され、Diffusersで初日から動作する。1つのモデルでtext-to-image、複数参照のimage-to-image、バウンディングボックスによるレイアウト制御に対応する。蒸留版は16ステップでCFGなし、H100で1024 × 1024の画像を約2秒で生成する。NVFP4とFP8の重み、LoRA学習スクリプト、Modular Diffusersパイプラインも提供される。

    選定理由:bboxをプロンプトに書いて配置や移動を指定する操作法と、H100での速度やメモリの実測値が併記されており、導入時の負荷を見積もりやすい。

10月14日水
  1. ABEJA Tech Blog38

    VLMの汎用性とJevの速度を両取りする、追加学習なしのロボットアーム制御

    ABEJAの服部氏が、追加学習もマーカー配置もなしで、ロボットアームにキューブのpick & placeを行わせる仕組みを構築した。画像入力が可能なオープン再実装のopenjevを使い、gpt-5.5のプランナー、Jev、IKを組み合わせている。Jevの応答は中央値0.43秒で、単一タスク1回分は約30秒だった。

  2. Apple Machine Learning Research40

    Apple、三モーダルMasked Diffusion Modelsの設計空間を大規模に分析

    Appleの研究者らが、テキスト、画像とテキストの組、音声とテキストの組で事前学習した初の三モーダルMasked Diffusion Models(MDM)を提示し、その設計空間を体系的に分析した。予備モデルは3B規模・6.4Tトークンで、テキスト生成、T2I、T2Sの各タスクで強い結果を得たとしている。また、物理的なバッチサイズと論理的なバッチサイズを分離するSDEベースの再パラメータ化により、最適バッチサイズの調整を不要にしたと報告している。

  3. Google DeepMind Blog62

    Google DeepMind、ロボティクス向けGemini 4 Argonを公開、ERQAで87%

    Google DeepMindはGemini 4 Argonを公開した。物理理解、コード生成、視覚的・意味的推論が大きく進歩したとしており、Embodied Reasoning(ERQA)ベンチマークで純粋な推論により87%を記録し、他のフロンティアモデルを上回ると説明している。gemini-4-argonとしてGoogle AI Studio、Gemini API、Google Antigravityで利用できる。

    選定理由:ロボット制御やReal2Simなど四領域の具体的なプロンプト例が並び、物理推論モデルの使い方を自分の作業に置き換えて検討しやすい。

10月13日火
  1. NVIDIA Blog43

    NVIDIA RTX Spark、グローバルなPCアプリのエコシステムが対応完了

    NVIDIAはMicrosoftと共に10月16日発売のRTX Sparkノートに向け、GitHub CopilotやPerplexityなどのエージェントアプリ、Adobe、開発ツールの対応を発表した。RTX Sparkは最大128GBのユニファイドメモリと1 petaflopのAI演算性能を備える。エージェント向けの74B(アクティブ9B)MoEモデルNemotron 3.5 Bolt 74Bは10月15日に公開される。

10月9日金
10月8日木
  1. OpenAI67

    OpenAIはGPT-6とIntelligent UIをChatGPTの全ユーザー向けに順次提供し始めた。Intelligent UIは、高速でインタラクティブな回答により、日常の質問をより視覚的にし、複雑な話題を理解しやすくするという。

    選定理由:GPT-6と新しい回答表示が全ユーザー向けに展開されると示されており、日常の質問や複雑な話題での見せ方の変化を把握する手がかりになる。

10月7日水
  1. Google DeepMind Blog55

    Google DeepMind、オンデバイス向けマルチモーダル埋め込みモデルEmbeddingGemma 2を公開

    Google DeepMindは、テキスト、画像、音声、動画、コードを共通の埋め込み空間に写像するオープンな埋め込みモデルEmbeddingGemma 2を公開した。Gemma 4アーキテクチャをベースに740Mパラメータで、Apache 2.0ライセンスで提供される。MTEB Codeのスコアは68.76から78.68に向上し、コンテキストウィンドウは8Kトークンに拡大した。

10月6日火
  1. Mistral AI53

    Mistral AIは、1Tパラメータでアクティブ49Bのネイティブマルチモーダルモデル Mistral Large 4(通称 Le Chonk)を発表した。集計ベンチマークで米国・欧州発の最良のオープンウェイトモデルだとしている。APIは本日から全ユーザーに提供され、オープンウェイトは10月末に公開する予定である。

  2. Mistral AI News62

    Mistral、Mistral Large 4のパブリックプレビューを開始、ウェイトは月末公開予定

    Mistralは、総パラメータ1兆、アクティブ520億のネイティブマルチモーダルモデルMistral Large 4(ML4)のパブリックプレビューを開始した。プレビューAPIはMistral Studioで試用でき、ウェイトは今月末に公開予定である。コーディング、エージェント型ワークフロー、マルチモーダル理解で高い性能を示すとしており、Artificial Analysis Cyber Indexでは世界上位5モデルに入るとしている。

    選定理由:サイバーセキュリティや金融、法務での評価結果に加え、学習基盤とRLの運用規模まで示されており、オープンウェイト大型モデルの位置づけを比較しやすい。

  3. Google Japan ブログ52

    Google、Gemini Liveに高齢者向け「シンプルガイド」を順次提供、介護職員向け活用ガイドも公開

    Googleは、Gemini アプリの Gemini Live に、カメラや画面の共有でリアルタイムに音声支援を行う新機能「シンプルガイド」の順次提供を開始した。Android 9 以降の端末で利用でき、あわせて介護職員向けの「介護の現場を支える Gemini 活用ガイド」も公開した。

10月3日土
  1. Google AI Blog60

    Google、9月のAI発表をまとめて公開 Gemini 4 Argon、Connected Apps、WeatherNext 3など

    Googleは9月のAI関連発表をまとめ、最新のフロンティアモデルGemini 4 Argonを筆頭に挙げた。出力上限は100万トークンで、現在はFairwind Program経由で信頼されたサイバー防御担当者向けに提供している。ほかにGemini 3.8 Flash、Gemini appのConnected Apps、WeatherNext 3、Googlebookの予約受付なども紹介している。

    選定理由:Gemini 4 Argonを軸に、音声、連携アプリ、天気予報、ゲノム研究まで9月の発表が一覧で整理されており、全体像をつかみやすい。

10月2日金
  1. Google Blog: Gemini61

    Google、Gemini LiveにAndroid向け「Guided Vision」を追加

    Googleは、対応するAndroid端末のGemini Liveで、カメラ映像を音声でリアルタイムに説明する「Guided Vision」の提供を開始した。視覚障害や弱視の人を主な対象とし、周囲の説明や追加質問への回答、カメラの向きを直す音声ガイドに対応する。Android 9以上で、Gemini Liveが使える地域と言語で利用できる。

    選定理由:視覚障害者向けにカメラ共有の音声ガイドを提供し、起動方法と利用条件、ナビ用途ではないという制限まで具体的に示している。

9月30日水
  1. SB Intuitions ブログ39

    LingBot-World Fast、動画ワールドモデルの再訪一貫性に向けた学習不要のメモリポリシーを比較

    SB Intuitions Creative Vision Teamが、LingBot-World Fastを対象に、学習なしで推論時に適用できるメモリポリシーを比較した。full attention、ウィンドウ制限、attention sink、明示的検索、camera-aware attention、RELIC着想の圧縮キャッシュを同一モデルで検証した結果、単独の勝者はなく、優劣はカメラの戻り方で変わる。評価にはPSNR、SSIM、LPIPS、DINO similarityを用いた。

9月29日火
  1. Google Blog: Gemini44

    Gemini 3.8 Flashで開発者4人が作ったもの

    Googleは、Gemini 3.8 Flashを使った開発者4人の作例を紹介した。同モデルは3.7 Flashからソフトウェア開発、エージェント型タスク、多段階推論が大きく向上し、より高コストなフロンティアモデルに迫る性能を示すこともある。ロケット軌道のシミュレーションや自動変速機の対話型モデルなどが作られており、Google AntigravityとGoogle AI Studioで利用できる。

9月25日金
  1. Google Research Blog41

    Google Research、GeminiとVeo上で長尺動画の一貫性を自動制御するAIビデオ共同監督フレームワークを発表

    Google Researchは、GeminiとVeoの上に構築したマルチエージェント型のAIビデオ共同監督フレームワークを発表した。複数カットにわたる視覚的な一貫性を計画し、キャラクターや環境のずれを抑えながら数分規模の動画生成を目指す。創作方向の選択にはマルチアームドバンディットを用い、Pre-Production、Production、MLLM Judgeの各エージェントが制作を進める。SynthIDによる透かしなどの安全機構も継承するとしている。

  2. Google DeepMind Blog50

    Gemini 3.8 Live with Live Avatarを発表

    Googleは、ほぼリアルタイムの映像アバターを備えたGemini 3.8 Live with Live Avatarを発表し、Gemini Enterpriseで提供を開始した。リップシンクと表情を伴う音声対話が可能で、97言語をまたいで切り替えられる。対話を止めずにバックグラウンドでツール呼び出しを行えるほか、参照画像からのカスタムアバター作成は現時点でエンタープライズの許可リスト登録者に限られる。

  3. Google Blog: Gemini48

    Gemini 3.8 Live、リアルタイム映像アバター「Live Avatar」を発表

    Googleは、Gemini 3.8 Liveにリアルタイム映像アバター機能「Live Avatar」を追加した。音声対話と低遅延の映像生成を組み合わせ、口の動きや表情を伴う対話型の仮想担当者を実現する。Live Avatarは現在Gemini Enterpriseで利用可能で、97言語への対応とツール呼び出しの非同期実行をサポートする。カスタムアバターの作成はエンタープライズ向けの許可リスト制で、現時点では限られた企業のみが対象となる。

9月24日木
  1. Google Japan ブログ57

    Google、音声合成モデルGemini 3.8 Flash TTSとFlash-Lite TTSを発表

    GoogleはGemini 3.8 Flash TTSとGemini 3.8 Flash-Lite TTSの2つのテキスト読み上げモデルを発表した。Flash TTSは自然言語プロンプトで100以上の言語や方言の音声をゼロから作成でき、Hume AIのVoice Design Benchmarkで総合1位(71.4)を獲得した。両モデルは本日から順次、Gemini APIとGoogle AI Studioで提供される。

9月23日水