本文へスキップ

#マルチモーダル

本日0件
10月19日月
  1. xAI News35

    xAI、画像から動画を生成する grok-imagine-video-1.5-preview をAPIでプレビュー公開

    xAIは、静止画から動画を生成する画像から動画へのモデル「grok-imagine-video-1.5-preview」を、xAI APIでプレビュー提供開始した。開始フレームと動きを説明するプロンプトを与えると、カメラの動き、雰囲気、物理表現を含めて場面をアニメーション化し、入力画像に忠実な映像を生成する。最大720pのクリップを作成でき、複数のシーンを連結して、プロジェクト全体で一貫した見た目の長い映像を作ることもできる。

  2. Google Developers Blog56

    Google DeepMind、オープンウェイトのマルチモーダル埋め込みモデルEmbeddingGemma 2を公開

    Google DeepMindは、テキスト、画像、動画フレーム、音声を単一のベクトル空間に写像するオープンウェイトの埋め込みモデルEmbeddingGemma 2を公開した。パラメータ数は740Mで、Google Pixel 11 Pro上のアクティブRAMはテキストのみで約191MB、フルマルチモーダルで約567MBとされる。Google AI Edge GalleryとForesightでのデモに加え、MediaPipe TasksやLiteRTで開発できる。

10月17日土
  1. TechCrunch AI50

    Elorian、画像で推論する初のAIモデル「Glimpse」を公開

    Elorianが初のモデル「Glimpse」を研究プレビューとして公開した。APIとチャット画面で提供され、推論中に画像の一部を切り抜き、動画のフレームを取り出し、コードで測定できる。価格は100万トークンあたり入力$0.60、出力$3で、同社の評価では科学チャートの推論と短尺動画のキャプション生成でGPT-6 Astraを上回る。

10月16日金
  1. TechCrunch AI69

    Meta、Macで動作するオープンウェイトモデル「Muse Spark Open」を公開

    Metaは米国で「最も高性能」とするオープンウェイトモデル「Muse Spark Open」を公開した。816Bパラメータと100万トークンのコンテキストウィンドウを持ち、Meta公表の評価結果では他の主要なオープンウェイトモデルより優れた性能を示すという。Apple製コンピュータでのローカル実行を想定して設計されており、複数のAPIプラットフォームで利用できる。

  2. NVIDIA62

    NVIDIAはオープンモデルのNemotronファミリーに、Nemotron 3.5 Super VLを加えた。視覚理解、推論、ツール利用を組み合わせ、AIエージェントがより短時間で多くの作業を完了できるようにするという。総パラメータ120B、アクティブ12Bで、テキスト、画像、ドキュメント、動画の理解に対応する。

    引用元NVIDIA AI@NVIDIAAI

    Meet NVIDIA Nemotron 3.5 Super VL Our new open model combines reasoning and tool use with text, image, document, and video understanding for long-running AI agents. 120B total parameters with 12B active 🧵

  3. NVIDIA Blog56

    NVIDIA、Nemotron 3.5 Super VLとBolt 74B-A9B 24GBをオープンモデルとして公開

    NVIDIAは1200億パラメータのオープンモデルNemotron 3.5 Super VLと、エッジ向けのNemotron 3.5 Bolt 74B-A9B 24GBを公開した。Bolt E4B 4GBは10月23日に提供予定である。Super VLは同クラスで次点の5倍高速なスループットとされ、Hugging Faceなどから利用できる。

10月15日木
  1. Hugging Face Blog41

    Apertus 1.5、画像・音声理解と思考モードを追加

    Apertus 1.5は、Apertus 1.0の8Bおよび70Bモデルを拡張した最新版で、画像と音声の理解、任意で使える思考モード、4倍となる262,144トークンのコンテキストウィンドウを備える。8Bと70Bの重みは2026年7月24日にHugging FaceでApache 2.0ライセンスのもと公開された。学習データは8Bモデルに4兆トークン、70Bモデルに2兆トークンの継続事前学習を加えており、合計はそれぞれ19T、17Tである。

  2. Hugging Face Blog69

    Meta、オープンウェイトのマルチモーダルMoEモデル「Muse Spark Open」を公開

    Metaはオープンウェイトのモデル「Muse Spark Open」を公開した。総パラメータ約816B、トークンあたりのアクティブ約42BのMoEで、テキスト、画像、音声、動画を入力でき、コンテキストウィンドウは最大1Mトークンである。Hugging Face Blogでは、transformers、llama.cpp、SGLang、vLLM、MLXでの実行方法とTRLによるファインチューニング、デモを紹介している。

    選定理由:総パラメータ約816B、アクティブ約42Bという構成と、各推論環境での動かし方や必要なメモリ量がまとまっており、導入規模を見積もる材料になる。

  3. Hugging Face Blog60

    Black Forest Labs、FLUX.3 Image Kleinを公開 Diffusersで初日から利用可能

    Black Forest LabsのFLUX.3 Image Kleinが公開され、Diffusersで初日から動作する。1つのモデルでtext-to-image、複数参照のimage-to-image、バウンディングボックスによるレイアウト制御に対応する。蒸留版は16ステップでCFGなし、H100で1024 × 1024の画像を約2秒で生成する。NVFP4とFP8の重み、LoRA学習スクリプト、Modular Diffusersパイプラインも提供される。

    選定理由:bboxをプロンプトに書いて配置や移動を指定する操作法と、H100での速度やメモリの実測値が併記されており、導入時の負荷を見積もりやすい。

10月14日水
  1. Google DeepMind Blog62

    Google DeepMind、ロボティクス向けGemini 4 Argonを公開、ERQAで87%

    Google DeepMindはGemini 4 Argonを公開した。物理理解、コード生成、視覚的・意味的推論が大きく進歩したとしており、Embodied Reasoning(ERQA)ベンチマークで純粋な推論により87%を記録し、他のフロンティアモデルを上回ると説明している。gemini-4-argonとしてGoogle AI Studio、Gemini API、Google Antigravityで利用できる。

    選定理由:ロボット制御やReal2Simなど四領域の具体的なプロンプト例が並び、物理推論モデルの使い方を自分の作業に置き換えて検討しやすい。

10月13日火
10月7日水
  1. Google DeepMind Blog55

    Google DeepMind、オンデバイス向けマルチモーダル埋め込みモデルEmbeddingGemma 2を公開

    Google DeepMindは、テキスト、画像、音声、動画、コードを共通の埋め込み空間に写像するオープンな埋め込みモデルEmbeddingGemma 2を公開した。Gemma 4アーキテクチャをベースに740Mパラメータで、Apache 2.0ライセンスで提供される。MTEB Codeのスコアは68.76から78.68に向上し、コンテキストウィンドウは8Kトークンに拡大した。

10月6日火
  1. Mistral AI53

    Mistral AIは、1Tパラメータでアクティブ49Bのネイティブマルチモーダルモデル Mistral Large 4(通称 Le Chonk)を発表した。集計ベンチマークで米国・欧州発の最良のオープンウェイトモデルだとしている。APIは本日から全ユーザーに提供され、オープンウェイトは10月末に公開する予定である。

  2. Mistral AI News62

    Mistral、Mistral Large 4のパブリックプレビューを開始、ウェイトは月末公開予定

    Mistralは、総パラメータ1兆、アクティブ520億のネイティブマルチモーダルモデルMistral Large 4(ML4)のパブリックプレビューを開始した。プレビューAPIはMistral Studioで試用でき、ウェイトは今月末に公開予定である。コーディング、エージェント型ワークフロー、マルチモーダル理解で高い性能を示すとしており、Artificial Analysis Cyber Indexでは世界上位5モデルに入るとしている。

    選定理由:サイバーセキュリティや金融、法務での評価結果に加え、学習基盤とRLの運用規模まで示されており、オープンウェイト大型モデルの位置づけを比較しやすい。

9月29日火
  1. Google Blog: Gemini44

    Gemini 3.8 Flashで開発者4人が作ったもの

    Googleは、Gemini 3.8 Flashを使った開発者4人の作例を紹介した。同モデルは3.7 Flashからソフトウェア開発、エージェント型タスク、多段階推論が大きく向上し、より高コストなフロンティアモデルに迫る性能を示すこともある。ロケット軌道のシミュレーションや自動変速機の対話型モデルなどが作られており、Google AntigravityとGoogle AI Studioで利用できる。

9月24日木
  1. Google Japan ブログ57

    Google、音声合成モデルGemini 3.8 Flash TTSとFlash-Lite TTSを発表

    GoogleはGemini 3.8 Flash TTSとGemini 3.8 Flash-Lite TTSの2つのテキスト読み上げモデルを発表した。Flash TTSは自然言語プロンプトで100以上の言語や方言の音声をゼロから作成でき、Hume AIのVoice Design Benchmarkで総合1位(71.4)を獲得した。両モデルは本日から順次、Gemini APIとGoogle AI Studioで提供される。

9月10日木
9月5日土
  1. Microsoft AI (MAI) News50

    Microsoft、MAI-Image-2.6をFoundryで提供開始、高速版MAI-Image-2.6-Flashも追加

    Microsoftは画像モデルMAI-Image-2.6をMicrosoft Foundryの開発者向けに提供し、低遅延向けのMAI-Image-2.6-Flashを加えた。MAI-Image-2.6はArenaでtext to imageと画像編集がともにNo. 2、Artificial Analysisではtext-to-imageがNo. 2、画像編集がNo. 1である。Flashは GPT-Image-2-Mediumより2.8倍高速で、効率は72%高いとしている。

9月4日金
  1. SB Intuitions ブログ34

    SB Intuitions、日本語に強い画像生成基盤モデルSarashina Image 2.6Bを開発

    SB Intuitionsは、日本語および英語のプロンプトから高解像度画像を生成する画像生成基盤モデル「Sarashina Image 2.6B」を開発した。26億パラメータのDiffusion Transformer(DiT)を既存モデルのファインチューニングではなくフルスクラッチで訓練し、Text Encoderには自社のSarashina2.2-Vision-3Bを採用している。学習データは自社購入の大規模ストックフォトを中核に、ライセンスや利用規約を遵守したオープンデータセットを組み合わせて構築した。

  2. Google DeepMind Blog62

    Google DeepMind、気象AIモデルWeatherNext 3を発表 衛星データを取り込み毎時予報を生成

    Google DeepMindとGoogle Researchは、グローバル気象AIモデルWeatherNext 3を発表した。リアルタイムの衛星データを学習に用い、最大5kmの解像度で毎時予報を生成する。Search、Gemini、Maps、Google Maps Platform、Cloudなどに今日から順次組み込まれ、降水予報は1日以上先で最大50%精度が向上するとしている。

    選定理由:衛星データの直接学習や5km解像度など、前世代WeatherNext 2との差分が数値で整理されており、改良点を把握しやすい。

9月3日木
9月1日火
  1. LLM-jp(国立情報学研究所)38

    LLM-jp、視覚言語モデル「LLM-jp-4-VL 9B」を公開 llm-jp-4-8b-thinkingをマルチモーダル化

    大規模言語モデル研究開発センター(LLMC)は、llm-jp-4-8b-thinkingをマルチモーダル化した視覚言語モデル「LLM-jp-4-VL 9B」を公開した。FineVisionの問題データを削除・修正したデータセット「RefinedVision」も併せて公開し、学習データは約2,930万件である。beta版よりGPQAやCharXiv Reasoningなどで性能が向上した一方、Qwen3.5-9Bとは多くのタスクで差が残る。

8月21日金
  1. DeepSeek62

    DeepSeekは実験的マルチモーダルモデルDeepSeek-V4-Flash-Vision-ExpをDeepSeek API Platformで公開した。テキスト能力はDeepSeek-V4-Flashと同等で、マルチモーダルのエージェント系ベンチマークではV4-Flashから大きく向上し、Opus-4.8に近い水準になったとしている。利用は model='deepseek-v4-flash-vision-exp' で指定し、DeepSeek Harness 0.1.1も同日に公開された。

8月12日水
  1. Google Research Blog53

    Google Research、リアルタイム映像診療に対応したAMIE (Video)を発表

    Google Researchは、GeminiとProject Astraを基盤に、リアルタイムの映像診察を行う研究用AIシステムAMIE (Video)を公開した。100シナリオ、300件の模擬診療を対象にした無作為化研究で、中核的な臨床能力は一次診療医(PCP)と同等と評価された。ただし評価は模擬患者を使った環境に限られ、実患者での検証が次の課題とされている。

8月11日火
  1. Microsoft AI (MAI) News48

    MAI-Image-2.6、Arenaのtext-to-imageで2位。Google・Meta・xAIのモデルを上回る

    MicrosoftはMAI-Image-2.6を発表し、Arenaのtext-to-imageリーダーボードで2位となった。MAI-Image-2.5からは総合で+79 Elo、テキスト描画では+91 Eloの向上で、全カテゴリーで改善した。Arenaで利用可能で、MAI Playgroundには今週後半に追加され、Microsoft Foundryなどにも順次展開される予定である。

8月10日月
  1. Hugging Face Blog72

    Meta、ローカル向けエージェント対応のマルチモーダルモデルMuse Glimmerを公開、Apache 2.0で提供

    MetaがMuseから30Bパラメータに蒸留したマルチモーダルモデルMuse Glimmerを、Apache 2.0ライセンスで公開した。ローカルでのエージェント用途を想定し、transformers、llama.cpp、vLLM、Inference Endpointsがday-0で対応する。Hugging Face Hubから入手できる。

    選定理由:30Bのローカル向けモデルについて、アーキテクチャと各推論基盤での使い方、ファインチューニングの要件が一続きで整理されている。

8月4日火
  1. Microsoft Source: AI53

    Microsoft ResearchとPaige、病理基盤モデルPRISM2を開発しNature Medicineで発表

    Microsoft ResearchとPaige(現Tempusの傘下)は、組織画像と病理報告書由来の言語で学習した病理基盤モデルPRISM2を開発し、Nature Medicineに発表した。前立腺がん、乳がん、乳房リンパ節転移の検出など複数のベンチマークで、専用のがん検出システムに並ぶか上回る性能を示した。モデルの重みは研究用途向けにHugging Faceで公開されている。

  2. Mistral AI News46

    Mistral AI、オープンウェイトの安全性分類モデル「Shieldstral」を発表

    Mistral AIは、テキストと画像の安全性を評価する3Bのオープンウェイト・マルチモーダル安全性分類モデル「Shieldstral」を、Apache 2.0ライセンスで公開した。ポリシーは推論時に平易な言葉で指定でき、再学習なしで用途に合わせて調整できる。テキスト安全性ではサイズが最大7倍のオープンガードモデルに匹敵し、単一の16GB NVIDIA GPUで動作する。

8月2日日
  1. Interconnects (Nathan Lambert)48

    オープンモデルの最新動向をまとめた「Artifacts #23」、Laguna S2.1・Inkling・Kimi K3など

    オープンモデルの最新動向をまとめた「Artifacts #23」では、Thinking MachinesのInkling(975B-A41B MoE)やKimi K3などを取り上げる。Tencentは、Hy3(295B-A21B MoE)のライセンスをApache 2に変更した。Kimi K3は非商用ライセンスで、推論・ファインチューニング事業者には商用契約が求められる。

7月31日金
  1. Google DeepMind Blog54

    Google DeepMind、ロボット向け推論モデルGemini Robotics ER 2を公開

    Google DeepMindはロボット向けの「身体性推論」モデルGemini Robotics ER 2を公開した。動画理解、タスクのオーケストレーション、マルチロボット連携に対応し、ER 1.6から強化されている。Gemini API、Google AI Studioで開発者に提供され、Gemini Enterprise Agent Platformではプライベートプレビューとなる。

7月30日木
7月28日火
  1. Google DeepMind Blog60

    Google DeepMind、Gemini Robotics 2を発表 ヒューマノイドの全身制御に対応

    Google DeepMindはロボット向けのGemini Robotics 2を発表した。VLAのGemini Robotics 2、推論モデルのGemini Robotics ER 2、オンデバイス向けのGemini Robotics On-Device 2の3モデルで構成し、ヒューマノイドの全身制御や複数ロボットの協調を可能にする。ER 2はGoogle AI Studioで利用でき、VLAとOn-Deviceモデルは早期アクセスパートナー向けに提供される。

    選定理由:全身制御、器用な手の操作、複数ロボットの協調を3つのモデルの役割分担で整理しており、提供範囲や適応に必要なデータ量も確認しやすい。

7月15日水
  1. Hugging Face Blog72

    Thinking Machines Lab、画像・音声・テキスト対応のオープンモデルInklingとInkling-Smallを公開

    Thinking Machines Labが、画像・テキスト・音声を入力できる約1Tパラメータのオープンモデル Inkling を Hugging Face で公開した。総パラメータ975B、アクティブ41BのMoEで、1Mコンテキストに対応する。276B総・12Bアクティブの Inkling-Small も追加され、Inference Endpoints でワンクリックでデプロイできる。

    選定理由:アーキテクチャの内訳、必要VRAM、各推論エンジンでの起動手順、ベンチマーク表が一つにまとまり、導入可否を判断する材料になる。

7月1日水
  1. Google DeepMind Blog65

    Google DeepMind、Nano Banana 2 LiteとGemini Omni Flashを開発者向けに提供開始

    Google DeepMindは、最速かつ低コストの画像モデルNano Banana 2 Liteと、動画生成・対話型編集モデルGemini Omni Flashを開発者向けに提供開始した。Nano Banana 2 Liteは1K画像あたり$0.034、text-to-imageの出力は4秒で、Omni Flashは動画出力1秒あたり$0.10である。どちらもGoogle AI Studioとgemini APIから利用できる。

    選定理由:画像生成と動画生成の2モデルを連結する使い方と、価格や制限事項が具体的に示されており、開発での採用判断の材料になる。

6月9日火
  1. Google DeepMind Blog60

    Google DeepMind、エンコーダー不要のマルチモーダルモデルGemma 4 12Bを発表

    Google DeepMindはノートPC向けのマルチモーダルモデルGemma 4 12Bを発表した。画像と音声の入力をエンコーダーなしでLLM本体に直接渡す構成で、16GBのVRAMまたはユニファイドメモリで動作する。Apache 2.0ライセンスで公開され、Hugging FaceとKaggleから重みを入手できる。

    選定理由:画像と音声をエンコーダーなしでLLM本体に直接入力する構成と、16GBで動作するメモリ要件が示されており、ローカル運用の判断材料になる。

4月21日火
  1. カラクリ ニュース30

    カラクリ、GENIAC第3期で国産CUAモデル「KARAKURI VL2」を開発 画像編集・メール操作でClaude Sonnet 4.6を上回る

    カラクリが、PC操作を自律実行する国産CUA向け視覚言語モデル「KARAKURI VL2」(8Bパラメータ)を開発し、GENIAC第3期の成果として公開した。自社開発の日本語PC操作ベンチマーク「OSWorld-JP v0.2」(100タスク)の総合スコアは0.331で、Claude Sonnet 4.6の0.593には及ばないが、画像編集(GIMP)とメール操作(Thunderbird)の2カテゴリではClaude Sonnet 4.6を上回った。

4月2日木
  1. Microsoft AI (MAI) News52

    Microsoft AI、MAI-Transcribe-1など3つのMAIモデルをFoundryで提供開始

    Microsoft AIは、MAI-Transcribe-1、MAI-Voice-1、MAI-Image-2の3モデルをMicrosoft FoundryとMAI Playgroundで提供開始した。料金はMAI-Transcribe-1が1時間あたり$0.36から、MAI-Voice-1が100万文字あたり$22から、MAI-Image-2がテキスト入力100万トークンあたり$5、画像出力100万トークンあたり$33からである。