本文へスキップ

#マルチモーダル

本日3件
今日10月20日火
  1. TechCrunch AI44

    Replika創業者Kuyda、AIアシスタント「Wabi」を全ユーザー向けに公開

    Replika創業者のEugenia Kuydaは、複数のエージェント型スレッドを持てるマルチプレイ対応の個人向けAIアシスタント「Wabi」を全ユーザー向けに正式公開した。メールを連携すると、エージェントがアプリを自動で作成し、スレッドはグループチャットとして共有できる。Wabiは SOC 2準拠で、ユーザーデータは主に米国に保存される。現在は無料で、ビジネスモデルは未定である。

  2. The Decoder58

    Kling AI、動画生成モデルKling 4.0を公開 ステレオ音声と多言語リップシンクに対応

    Kling AIが動画生成モデルKling 4.0を公開した。1回の生成で最大30秒の動画を出力でき、最大10枚のキーフレーム画像を入力できる。ステレオ音声と10言語超のリップシンクに対応し、低コスト高速の軽量版Kling 4.0 Flashも提供する。API料金は未発表である。

  3. AWS Machine Learning Blog38

    TwelveLabs、Pegasus 1.5をAmazon Bedrockで提供開始

    TwelveLabsの動画言語モデルPegasus 1.5がAmazon Bedrockで利用可能になった。長尺動画を解析し、指定した条件に合致する区間をタイムスタンプ付きの構造化JSONで返す。Amazon S3のURIまたはbase64文字列から、事前のインデックス作成なしで動画を解析でき、動画の処理能力は1リクエストあたり最大2時間まで拡大された(Pegasus 1.2は1時間)。

10月19日月
  1. xAI News35

    xAI、画像から動画を生成する grok-imagine-video-1.5-preview をAPIでプレビュー公開

    xAIは、静止画から動画を生成する画像から動画へのモデル「grok-imagine-video-1.5-preview」を、xAI APIでプレビュー提供開始した。開始フレームと動きを説明するプロンプトを与えると、カメラの動き、雰囲気、物理表現を含めて場面をアニメーション化し、入力画像に忠実な映像を生成する。最大720pのクリップを作成でき、複数のシーンを連結して、プロジェクト全体で一貫した見た目の長い映像を作ることもできる。

  2. xAI News58

    xAI、画像から動画を生成するGrok Imagine Video 1.5をImagine APIで一般提供

    xAIはGrok Imagine Video 1.5をImagine APIで一般提供し、高速版のVideo 1.5 Fastをgrok.com/imagineとiOS・Androidアプリで公開した。Video 1.5 Fastは6秒、720pの動画を約25秒で生成し、従来モデルの40秒以上から短縮された。Projects、複数エージェントの並列実行、ライブラリ検索の新機能も数日かけて順次提供される。

  3. xAI News60

    xAI、Imagine Video 1.5に画像・音声リファレンスと1080p生成を追加

    xAIは動画生成モデルImagine Video 1.5に、画像と音声のリファレンス、プロンプトのみのtext-to-video、ネイティブ1080p生成を追加した。リファレンスは1回の生成で最大7つまで使え、顔や商品、場所などを固定できる。画像・音声リファレンスは米国のSuperGrok HeavyとSuperGrok Plus向けに先行提供され、数日以内に全プランへ拡大する。

    選定理由:参照画像と音声参照で人物や場面を固定でき、提供範囲とAPI対応も具体的に示されているため、動画制作での使い方を想定しやすい。

  4. xAI News58

    xAI、Imagine Image 2.0を一般提供開始 精密な画像生成と編集に対応

    xAIは画像生成モデルImagine Image 2.0を、grok.com/imagineとiOS・AndroidアプリのQuality Modeとして一般提供した。指示への忠実さ、タイポグラフィとレイアウトの計画、生成や編集をまたぐ内容の保持を特徴とする。APIではgrok-imagine-image-2.0として利用でき、Arenaのtext-to-imageと画像編集の両方で総合Elo世界2位としている。

  5. Google Developers Blog33

    TPUでビデオ拡散のSpatio-Temporal Attentionを高速化

    Sparse VideoGen(SVG)の空間・時間マスクによる理論上のスパース性を、TPU上で実際のエンドツーエンドの高速化につなげる手法を解説する。81フレーム720p動画のシーケンス長は人気のオープンソース動画生成モデルで50Kから400Kに達し、720pから1440pへの解像度向上で単一層のAttentionの遅延に占める割合は55.5%から88.2%に増加する。スパース版は単一TPU v6e上のカーネル計測で、クエリ・キーの組の約38.87%を保持して計算する。

  6. Google Developers Blog56

    Google DeepMind、オープンウェイトのマルチモーダル埋め込みモデルEmbeddingGemma 2を公開

    Google DeepMindは、テキスト、画像、動画フレーム、音声を単一のベクトル空間に写像するオープンウェイトの埋め込みモデルEmbeddingGemma 2を公開した。パラメータ数は740Mで、Google Pixel 11 Pro上のアクティブRAMはテキストのみで約191MB、フルマルチモーダルで約567MBとされる。Google AI Edge GalleryとForesightでのデモに加え、MediaPipe TasksやLiteRTで開発できる。

  7. Google Developers Blog62

    Google、Gemma 4ベースの埋め込みモデルEmbeddingGemma 2を公開、5種類のデータを統一空間に

    GoogleはGemma 4をベースにしたApache 2.0ライセンスのオープンモデルEmbeddingGemma 2を公開した。テキスト、コード、画像、動画、音声を768次元の共通ベクトル空間に変換し、270Mから740Mパラメータまで必要なエンコーダーだけを読み込める。MTEB (Code)ではEmbeddingGemma 1より14%高いスコアを示している。

    選定理由:モジュール式エンコーダーと次元削減の選び方が数値付きで整理されており、自分の検索基盤の構成を検討する際の比較材料になる。

  8. Google Developers Blog59

    Google、ロボティクス向けGemini 4 Argonを公開、ERQAで87%

    GoogleはGemini 4 Argonを公開した。物理的理解、コード生成、視覚・意味推論が向上し、ERQAベンチマークでは推論のみで87%を記録して他のフロンティアモデルを上回ったとしている。ロボット制御、Real2Sim、物理理解、研究・自己改善の4分野の代表的なプロンプトも紹介している。Google AI StudioやGemini APIなどで利用できる。

10月17日土
  1. TechCrunch AI50

    Elorian、画像で推論する初のAIモデル「Glimpse」を公開

    Elorianが初のモデル「Glimpse」を研究プレビューとして公開した。APIとチャット画面で提供され、推論中に画像の一部を切り抜き、動画のフレームを取り出し、コードで測定できる。価格は100万トークンあたり入力$0.60、出力$3で、同社の評価では科学チャートの推論と短尺動画のキャプション生成でGPT-6 Astraを上回る。

10月16日金
  1. TechCrunch AI69

    Meta、Macで動作するオープンウェイトモデル「Muse Spark Open」を公開

    Metaは米国で「最も高性能」とするオープンウェイトモデル「Muse Spark Open」を公開した。816Bパラメータと100万トークンのコンテキストウィンドウを持ち、Meta公表の評価結果では他の主要なオープンウェイトモデルより優れた性能を示すという。Apple製コンピュータでのローカル実行を想定して設計されており、複数のAPIプラットフォームで利用できる。

  2. Hugging Face Daily Papers37

    Xiaomi-Lens-0 テクニカルレポート:視覚表現からマスクを予測する4Bマルチモーダルモデル

    Xiaomi-Lens-0は、Qwen3.5を基にした4Bのマルチモーダルモデルで、自身の視覚表現からマスクを予測して細かな領域の理解を高める。RefCOCO、RefCOCO+、RefCOCOgの計8つの分割すべてで参照理解はQwen3.5比で平均5.6ポイント向上し、セグメンテーションのcIoUは比較モデル中で最高となった。知覚系ベンチマークではQwen3.5を全て上回った。

  3. The Verge AI41

    Bluesky、AIツールAttieでゲームやアプリを作って共有可能に

    Blueskyの AIツール「Attie」で、プロンプト入力によりゲームやアンケート、ダッシュボードなどの「小さな」ソーシャルアプリを作成し、自分専用のWebサイトとして他のユーザーと共有できるようになった。公式サイトではFlappy Butterfly(Flappy Birdの類似作)、ドラムマシン、クイズ、放置型クリッカーなどの例が紹介されている。

  4. NVIDIA62

    NVIDIAはオープンモデルのNemotronファミリーに、Nemotron 3.5 Super VLを加えた。視覚理解、推論、ツール利用を組み合わせ、AIエージェントがより短時間で多くの作業を完了できるようにするという。総パラメータ120B、アクティブ12Bで、テキスト、画像、ドキュメント、動画の理解に対応する。

    引用元NVIDIA AI@NVIDIAAI

    Meet NVIDIA Nemotron 3.5 Super VL Our new open model combines reasoning and tool use with text, image, document, and video understanding for long-running AI agents. 120B total parameters with 12B active 🧵

  5. NVIDIA Blog56

    NVIDIA、Nemotron 3.5 Super VLとBolt 74B-A9B 24GBをオープンモデルとして公開

    NVIDIAは1200億パラメータのオープンモデルNemotron 3.5 Super VLと、エッジ向けのNemotron 3.5 Bolt 74B-A9B 24GBを公開した。Bolt E4B 4GBは10月23日に提供予定である。Super VLは同クラスで次点の5倍高速なスループットとされ、Hugging Faceなどから利用できる。

10月15日木
  1. Hugging Face Blog41

    Apertus 1.5、画像・音声理解と思考モードを追加

    Apertus 1.5は、Apertus 1.0の8Bおよび70Bモデルを拡張した最新版で、画像と音声の理解、任意で使える思考モード、4倍となる262,144トークンのコンテキストウィンドウを備える。8Bと70Bの重みは2026年7月24日にHugging FaceでApache 2.0ライセンスのもと公開された。学習データは8Bモデルに4兆トークン、70Bモデルに2兆トークンの継続事前学習を加えており、合計はそれぞれ19T、17Tである。

  2. Apple Machine Learning Research38

    Selection-based Structured Reasoning(SSR)、効率的なマルチモーダル検索エージェントに向けて

    マルチモーダル検索エージェントの推論を、事前定義した再利用可能な候補からの選択に置き換えるSSRは、1ターンあたりの推論レイテンシを90%以上削減する。質問ごとの総推論レイテンシは28〜54%削減され、2Bと4Bのモデルによる7つのマルチモーダル検索ベンチマークでは、同規模の主要な検索エージェントに匹敵する平均成功率を示した。強化学習と教師ありファインチューニングのいずれでも、タスク性能を落とさず効率を高めた。

  3. Hugging Face Blog69

    Meta、オープンウェイトのマルチモーダルMoEモデル「Muse Spark Open」を公開

    Metaはオープンウェイトのモデル「Muse Spark Open」を公開した。総パラメータ約816B、トークンあたりのアクティブ約42BのMoEで、テキスト、画像、音声、動画を入力でき、コンテキストウィンドウは最大1Mトークンである。Hugging Face Blogでは、transformers、llama.cpp、SGLang、vLLM、MLXでの実行方法とTRLによるファインチューニング、デモを紹介している。

    選定理由:総パラメータ約816B、アクティブ約42Bという構成と、各推論環境での動かし方や必要なメモリ量がまとまっており、導入規模を見積もる材料になる。

  4. Hugging Face Blog60

    Black Forest Labs、FLUX.3 Image Kleinを公開 Diffusersで初日から利用可能

    Black Forest LabsのFLUX.3 Image Kleinが公開され、Diffusersで初日から動作する。1つのモデルでtext-to-image、複数参照のimage-to-image、バウンディングボックスによるレイアウト制御に対応する。蒸留版は16ステップでCFGなし、H100で1024 × 1024の画像を約2秒で生成する。NVFP4とFP8の重み、LoRA学習スクリプト、Modular Diffusersパイプラインも提供される。

    選定理由:bboxをプロンプトに書いて配置や移動を指定する操作法と、H100での速度やメモリの実測値が併記されており、導入時の負荷を見積もりやすい。

  5. Hugging Face Daily Papers44

    ACT3D、強化学習で視覚言語モデルが3D空間を能動的に探索することを学習

    ACT3Dは、単一の一人称視点画像から3D環境を能動的に探索するよう強化学習で訓練された視覚言語モデル(VLM)であり、6つの3Dベンチマークの平均精度53.2%を達成して、ベースのQwenモデルを22.0%上回り、プロプライエタリモデルのGemini 3.6 Flashも超えた。既存のオープンソース3D手法より入力フレームを50〜70%少なくしながら上回り、未知のドメインでも教師ありの初期化モデルより平均5.9%改善した。ベースモデルに対する改善幅は、初期視点で答えられる質問の0.6%から、広範な探索を要する質問では16.3%に拡大した。

  6. Hugging Face Daily Papers34

    MJev-Spatial、単一パス分類で空間推論を高速化するマルチモーダル判断モデルを発表

    MJev-Spatialは、空間推論タスクを単一パスの分類フレームワークに統合したマルチモーダル判断モデルで、Qwen3.5-4Bを基に学習されている。8つのテストモデルの中で総合スコア65.64%を達成し、12のベンチマークのうち7つで首位となった。未改変の自己回帰ベースモデルは12すべてで下回り、最速の自己回帰ベースラインより2.5倍、ベースモデルより5.6倍高速に動作する。

10月14日水
  1. ABEJA Tech Blog38

    VLMの汎用性とJevの速度を両取りする、追加学習なしのロボットアーム制御

    ABEJAの服部氏が、追加学習もマーカー配置もなしで、ロボットアームにキューブのpick & placeを行わせる仕組みを構築した。画像入力が可能なオープン再実装のopenjevを使い、gpt-5.5のプランナー、Jev、IKを組み合わせている。Jevの応答は中央値0.43秒で、単一タスク1回分は約30秒だった。

  2. Apple Machine Learning Research40

    Apple、三モーダルMasked Diffusion Modelsの設計空間を大規模に分析

    Appleの研究者らが、テキスト、画像とテキストの組、音声とテキストの組で事前学習した初の三モーダルMasked Diffusion Models(MDM)を提示し、その設計空間を体系的に分析した。予備モデルは3B規模・6.4Tトークンで、テキスト生成、T2I、T2Sの各タスクで強い結果を得たとしている。また、物理的なバッチサイズと論理的なバッチサイズを分離するSDEベースの再パラメータ化により、最適バッチサイズの調整を不要にしたと報告している。

  3. Hugging Face Daily Papers41

    RoTA-Bench、対話型の投影アライメントで3D空間推論を評価

    RoTA-Benchは、2D観測から精密な3D回転制御へ変換するVision-language modelの能力を、対話型の3D-2D投影アライメント課題で評価するベンチマークである。GPT-5.6-Solの成功率は課題の17%にとどまり、学部生20人がテスト集合を4回完了した際の成功率100%と大きな差がある。モデルは人間に比べ、同じ状態で画像の重なりを改善しつつ姿勢のアライメントを悪化させる割合が高く(19.4%対10.9%)、操作履歴を除くと行動の96.8%が30度刻みの粗いステップになり、成功率も大きく低下する。

  4. Hugging Face Daily Papers39

    WorldCast、世界状態予測における知的な視覚生成を探る

    多段階の世界状態予測を評価するベンチマーク「WorldCast」が提案された。8カテゴリ320件のケースで12モデルを評価した結果、GPT-Image-2.5 Systemは72.8点、Nano Banana Proは42.8点、最良のオープンソースモデルは20.1点だった。強力な生成モデルは基盤の言語モデルの能力も効果的に活用している。

  5. Google DeepMind Blog62

    Google DeepMind、ロボティクス向けGemini 4 Argonを公開、ERQAで87%

    Google DeepMindはGemini 4 Argonを公開した。物理理解、コード生成、視覚的・意味的推論が大きく進歩したとしており、Embodied Reasoning(ERQA)ベンチマークで純粋な推論により87%を記録し、他のフロンティアモデルを上回ると説明している。gemini-4-argonとしてGoogle AI Studio、Gemini API、Google Antigravityで利用できる。

    選定理由:ロボット制御やReal2Simなど四領域の具体的なプロンプト例が並び、物理推論モデルの使い方を自分の作業に置き換えて検討しやすい。

10月13日火
  1. NVIDIA Blog43

    NVIDIA RTX Spark、グローバルなPCアプリのエコシステムが対応完了

    NVIDIAはMicrosoftと共に10月16日発売のRTX Sparkノートに向け、GitHub CopilotやPerplexityなどのエージェントアプリ、Adobe、開発ツールの対応を発表した。RTX Sparkは最大128GBのユニファイドメモリと1 petaflopのAI演算性能を備える。エージェント向けの74B(アクティブ9B)MoEモデルNemotron 3.5 Bolt 74Bは10月15日に公開される。

10月12日月
  1. Import AI45

    Import AI 476:視覚的直観推論ベンチマークHSS、宇宙へ向かうAI競争、AIの研究センス

    ElorianとScale AIが、視覚シーンが暗示する情報の推論力を測るベンチマーク「Humanity's Sixth Sense」を公開した。人間のpass@1が93.1に対し、最高のGPT 6 Astraは53.6、GLM-5.3-flashは26.8、Kimi K3は25.5だった。ほかに、宇宙でのAIの優位性を論じたAI Frontiersの記事と、AIの研究センスを測るTasteValも取り上げている。

10月10日土
10月9日金
10月8日木
  1. OpenAI67

    OpenAIはGPT-6とIntelligent UIをChatGPTの全ユーザー向けに順次提供し始めた。Intelligent UIは、高速でインタラクティブな回答により、日常の質問をより視覚的にし、複雑な話題を理解しやすくするという。

    選定理由:GPT-6と新しい回答表示が全ユーザー向けに展開されると示されており、日常の質問や複雑な話題での見せ方の変化を把握する手がかりになる。

10月7日水
  1. Google DeepMind Blog55

    Google DeepMind、オンデバイス向けマルチモーダル埋め込みモデルEmbeddingGemma 2を公開

    Google DeepMindは、テキスト、画像、音声、動画、コードを共通の埋め込み空間に写像するオープンな埋め込みモデルEmbeddingGemma 2を公開した。Gemma 4アーキテクチャをベースに740Mパラメータで、Apache 2.0ライセンスで提供される。MTEB Codeのスコアは68.76から78.68に向上し、コンテキストウィンドウは8Kトークンに拡大した。