本文へスキップ

#マルチモーダル

本日3件
10月6日火
  1. Mistral AI53

    Mistral AIは、1Tパラメータでアクティブ49Bのネイティブマルチモーダルモデル Mistral Large 4(通称 Le Chonk)を発表した。集計ベンチマークで米国・欧州発の最良のオープンウェイトモデルだとしている。APIは本日から全ユーザーに提供され、オープンウェイトは10月末に公開する予定である。

  2. Mistral AI News62

    Mistral、Mistral Large 4のパブリックプレビューを開始、ウェイトは月末公開予定

    Mistralは、総パラメータ1兆、アクティブ520億のネイティブマルチモーダルモデルMistral Large 4(ML4)のパブリックプレビューを開始した。プレビューAPIはMistral Studioで試用でき、ウェイトは今月末に公開予定である。コーディング、エージェント型ワークフロー、マルチモーダル理解で高い性能を示すとしており、Artificial Analysis Cyber Indexでは世界上位5モデルに入るとしている。

    選定理由:サイバーセキュリティや金融、法務での評価結果に加え、学習基盤とRLの運用規模まで示されており、オープンウェイト大型モデルの位置づけを比較しやすい。

  3. Google Japan ブログ52

    Google、Gemini Liveに高齢者向け「シンプルガイド」を順次提供、介護職員向け活用ガイドも公開

    Googleは、Gemini アプリの Gemini Live に、カメラや画面の共有でリアルタイムに音声支援を行う新機能「シンプルガイド」の順次提供を開始した。Android 9 以降の端末で利用でき、あわせて介護職員向けの「介護の現場を支える Gemini 活用ガイド」も公開した。

10月3日土
  1. Google AI Blog60

    Google、9月のAI発表をまとめて公開 Gemini 4 Argon、Connected Apps、WeatherNext 3など

    Googleは9月のAI関連発表をまとめ、最新のフロンティアモデルGemini 4 Argonを筆頭に挙げた。出力上限は100万トークンで、現在はFairwind Program経由で信頼されたサイバー防御担当者向けに提供している。ほかにGemini 3.8 Flash、Gemini appのConnected Apps、WeatherNext 3、Googlebookの予約受付なども紹介している。

    選定理由:Gemini 4 Argonを軸に、音声、連携アプリ、天気予報、ゲノム研究まで9月の発表が一覧で整理されており、全体像をつかみやすい。

10月2日金
  1. Google Blog: Gemini61

    Google、Gemini LiveにAndroid向け「Guided Vision」を追加

    Googleは、対応するAndroid端末のGemini Liveで、カメラ映像を音声でリアルタイムに説明する「Guided Vision」の提供を開始した。視覚障害や弱視の人を主な対象とし、周囲の説明や追加質問への回答、カメラの向きを直す音声ガイドに対応する。Android 9以上で、Gemini Liveが使える地域と言語で利用できる。

    選定理由:視覚障害者向けにカメラ共有の音声ガイドを提供し、起動方法と利用条件、ナビ用途ではないという制限まで具体的に示している。

9月30日水
  1. SB Intuitions ブログ39

    LingBot-World Fast、動画ワールドモデルの再訪一貫性に向けた学習不要のメモリポリシーを比較

    SB Intuitions Creative Vision Teamが、LingBot-World Fastを対象に、学習なしで推論時に適用できるメモリポリシーを比較した。full attention、ウィンドウ制限、attention sink、明示的検索、camera-aware attention、RELIC着想の圧縮キャッシュを同一モデルで検証した結果、単独の勝者はなく、優劣はカメラの戻り方で変わる。評価にはPSNR、SSIM、LPIPS、DINO similarityを用いた。

9月29日火
  1. Google Blog: Gemini44

    Gemini 3.8 Flashで開発者4人が作ったもの

    Googleは、Gemini 3.8 Flashを使った開発者4人の作例を紹介した。同モデルは3.7 Flashからソフトウェア開発、エージェント型タスク、多段階推論が大きく向上し、より高コストなフロンティアモデルに迫る性能を示すこともある。ロケット軌道のシミュレーションや自動変速機の対話型モデルなどが作られており、Google AntigravityとGoogle AI Studioで利用できる。

9月25日金
  1. Google Research Blog41

    Google Research、GeminiとVeo上で長尺動画の一貫性を自動制御するAIビデオ共同監督フレームワークを発表

    Google Researchは、GeminiとVeoの上に構築したマルチエージェント型のAIビデオ共同監督フレームワークを発表した。複数カットにわたる視覚的な一貫性を計画し、キャラクターや環境のずれを抑えながら数分規模の動画生成を目指す。創作方向の選択にはマルチアームドバンディットを用い、Pre-Production、Production、MLLM Judgeの各エージェントが制作を進める。SynthIDによる透かしなどの安全機構も継承するとしている。

  2. Google DeepMind Blog50

    Gemini 3.8 Live with Live Avatarを発表

    Googleは、ほぼリアルタイムの映像アバターを備えたGemini 3.8 Live with Live Avatarを発表し、Gemini Enterpriseで提供を開始した。リップシンクと表情を伴う音声対話が可能で、97言語をまたいで切り替えられる。対話を止めずにバックグラウンドでツール呼び出しを行えるほか、参照画像からのカスタムアバター作成は現時点でエンタープライズの許可リスト登録者に限られる。

  3. Google Blog: Gemini48

    Gemini 3.8 Live、リアルタイム映像アバター「Live Avatar」を発表

    Googleは、Gemini 3.8 Liveにリアルタイム映像アバター機能「Live Avatar」を追加した。音声対話と低遅延の映像生成を組み合わせ、口の動きや表情を伴う対話型の仮想担当者を実現する。Live Avatarは現在Gemini Enterpriseで利用可能で、97言語への対応とツール呼び出しの非同期実行をサポートする。カスタムアバターの作成はエンタープライズ向けの許可リスト制で、現時点では限られた企業のみが対象となる。

9月24日木
  1. Google Japan ブログ57

    Google、音声合成モデルGemini 3.8 Flash TTSとFlash-Lite TTSを発表

    GoogleはGemini 3.8 Flash TTSとGemini 3.8 Flash-Lite TTSの2つのテキスト読み上げモデルを発表した。Flash TTSは自然言語プロンプトで100以上の言語や方言の音声をゼロから作成でき、Hume AIのVoice Design Benchmarkで総合1位(71.4)を獲得した。両モデルは本日から順次、Gemini APIとGoogle AI Studioで提供される。

9月23日水
9月10日木
  1. Hugging Face Blog40

    Gradio WorkflowによるAUTOMATIC1111の再構築

    Hugging Faceは、AUTOMATIC1111のstable-diffusion-webuiの機能の大半を単一のワークフローキャンバスで再現した「Workflow1111」を紹介した。11本のパイプラインと73個のノードで構成され、text-to-imageやFLUX.1-Kontextによるhi-resolution fix、prompt matrix、PNG Infoなどを含む。利用にはHugging Faceアカウントでのサインインまたはアクセストークンが必要で、モデル呼び出しは利用者自身のクォータを消費する。

  2. Google AI Blog37

    AIで70年連れ添った夫婦の記憶を再現 Google DeepMindが短編映画『Love, Rendered』に協力

    Google DeepMindは映画制作者と共同で、短編ドキュメンタリー『Love, Rendered』を制作し、結婚70年以上のBurt and Ethelle Shatz夫妻が記録されていない出会いの日をAIで再現した。白黒写真の画像修復とパフォーマンスキャプチャモデルを組み合わせ、現在の夫妻の仕草を若い頃の姿に写し取っている。写真の復元はGeminiアプリでも可能である。

9月5日土
  1. Microsoft AI (MAI) News50

    Microsoft、MAI-Image-2.6をFoundryで提供開始、高速版MAI-Image-2.6-Flashも追加

    Microsoftは画像モデルMAI-Image-2.6をMicrosoft Foundryの開発者向けに提供し、低遅延向けのMAI-Image-2.6-Flashを加えた。MAI-Image-2.6はArenaでtext to imageと画像編集がともにNo. 2、Artificial Analysisではtext-to-imageがNo. 2、画像編集がNo. 1である。Flashは GPT-Image-2-Mediumより2.8倍高速で、効率は72%高いとしている。

9月4日金
  1. SB Intuitions ブログ34

    SB Intuitions、日本語に強い画像生成基盤モデルSarashina Image 2.6Bを開発

    SB Intuitionsは、日本語および英語のプロンプトから高解像度画像を生成する画像生成基盤モデル「Sarashina Image 2.6B」を開発した。26億パラメータのDiffusion Transformer(DiT)を既存モデルのファインチューニングではなくフルスクラッチで訓練し、Text Encoderには自社のSarashina2.2-Vision-3Bを採用している。学習データは自社購入の大規模ストックフォトを中核に、ライセンスや利用規約を遵守したオープンデータセットを組み合わせて構築した。

  2. Google DeepMind Blog62

    Google DeepMind、気象AIモデルWeatherNext 3を発表 衛星データを取り込み毎時予報を生成

    Google DeepMindとGoogle Researchは、グローバル気象AIモデルWeatherNext 3を発表した。リアルタイムの衛星データを学習に用い、最大5kmの解像度で毎時予報を生成する。Search、Gemini、Maps、Google Maps Platform、Cloudなどに今日から順次組み込まれ、降水予報は1日以上先で最大50%精度が向上するとしている。

    選定理由:衛星データの直接学習や5km解像度など、前世代WeatherNext 2との差分が数値で整理されており、改良点を把握しやすい。

9月3日木
  1. Microsoft Source: AI22

    Kier GroupのLouisa Finlay氏、Copilotで建設業の安全性と生産性を高める

    英国の建設・インフラ企業Kier Groupは、約11,000人の従業員を抱え、約40%がMicrosoft 365 Copilotを利用している。残りはTeams Premiumを使う。少人数のピアグループで行う「prompt-a-thon」で導入を促し、利用が広がった。現在は安全データの収集・整理などを担うAIエージェントを開発する初期段階にあり、運用方針は「Human at the Helm」である。

9月2日水
  1. Google AI Developers33

    Geminiは拍手の回数を数えられるか?👏 素早い動きを正確に数えることは、AIにとって難しいタスクとして知られている。静的な処理ではデフォルトで動画が固定の1 FPSで取り込まれるため、拍手のような一瞬の動きは完全に見逃されたり、指鳴らしやクリック音と混同されたりしやすい。 Gemini 3.7 Flashが新しいエージェント型の動画理解機能を使い、必要に応じて処理速度を自動で調整することで、拍手の一回一回を正確に識別して数える様子をご覧ください:

  2. Google DeepMind Blog60

    Google DeepMind、Geminiにエージェント型動画理解を導入、トークン消費を最大88%削減

    Google DeepMindは、Gemini 3.7 Flash、3.6 Flash、3.5 Flash-Lite向けにエージェント型動画理解を提供開始した。標準的な動画分析ベンチマークで、コストを最大66%、トークン消費を最大88%削減し、精度は最大7%向上したという。Gemini API(Google AI Studio)とGemini Enterprise Agent Platformで、動画アップロードとYouTube動画に対応し、追加料金はない。

    選定理由:固定FPSで動画を読み込む従来方式との違いと、トークン88%減などの数値、有効化の設定方法が一緒に示されており、導入判断の材料になる。

9月1日火
  1. LLM-jp(国立情報学研究所)38

    LLM-jp、視覚言語モデル「LLM-jp-4-VL 9B」を公開 llm-jp-4-8b-thinkingをマルチモーダル化

    大規模言語モデル研究開発センター(LLMC)は、llm-jp-4-8b-thinkingをマルチモーダル化した視覚言語モデル「LLM-jp-4-VL 9B」を公開した。FineVisionの問題データを削除・修正したデータセット「RefinedVision」も併せて公開し、学習データは約2,930万件である。beta版よりGPQAやCharXiv Reasoningなどで性能が向上した一方、Qwen3.5-9Bとは多くのタスクで差が残る。

8月28日金
  1. Google DeepMind Blog59

    Google DeepMind、Gemini Omni 1.1 Flashを発表 シーン延長や4Kアップスケールに対応

    Google DeepMindは、開発者向け動画生成モデルGemini Omni 1.1 Flashを発表した。シーン延長、最初と最後のフレーム指定、360pドラフト、1080p/4K出力、動画参照入力に対応する。Google AI StudioのGemini APIやGoogle Flowなどで本日から利用できる。

8月26日水
  1. Google Research Blog32

    AgentHands、XRで空間に根ざしたエージェント対話向けの手ジェスチャーを生成

    Googleは、XR上でAIエージェントの音声に合わせて手のジェスチャーを生成する研究プロトタイプ「AgentHands」を発表した。CHI 2026で発表された研究で、LLMの応答に埋め込まれたジェスチャーイベントを、単語単位のタイムスタンプを使って音声と同期させる。12名を対象とした被験者内実験では、音声のみのベースラインと比べて空間的なグラウンディングが有意に向上したと報告されている。

8月21日金
  1. DeepSeek62

    DeepSeekは実験的マルチモーダルモデルDeepSeek-V4-Flash-Vision-ExpをDeepSeek API Platformで公開した。テキスト能力はDeepSeek-V4-Flashと同等で、マルチモーダルのエージェント系ベンチマークではV4-Flashから大きく向上し、Opus-4.8に近い水準になったとしている。利用は model='deepseek-v4-flash-vision-exp' で指定し、DeepSeek Harness 0.1.1も同日に公開された。

8月19日水
  1. SB Intuitions ブログ34

    SB Intuitions、リアルタイム対話キャラクター向けストリーミング音声駆動動画生成を紹介

    SB Intuitionsは、ストリーミング音声を入力に対話キャラクターの動画応答を生成する、音声駆動動画生成のエンドツーエンド試作を紹介した。ベースにはLTX 2.3を用い、Self-Forcingを改良したODE初期化とDMD蒸留の2段階でポストトレーニングして自己回帰モデルを得ている。推論では参照画像と最初の動画チャンクのトークンをアテンションシンクとして保持する。

8月12日水
  1. Google DeepMind Blog61

    Google DeepMind、手話からテキストへの翻訳モデルSL2Tを発表 Pixel 11のGboardなどに搭載

    Google DeepMindは、50以上の手話を学習した手話からテキストへの翻訳モデルSL2Tを発表した。Pixel 11のGboardとLive Transcribeで、ASLから英語へのサインtoテキスト入力に対応する。FLEURS-ASL(sd-test)でゼロショット70 BLEURTを記録し、従来の報告値を大きく上回ると説明している。

    選定理由:手話をポーズ座標だけで翻訳する設計や、100,000時間超の学習データ、既知の誤りの例まで具体的に示されており、手話AIの現状を把握しやすい。

  2. Google Research Blog53

    Google Research、リアルタイム映像診療に対応したAMIE (Video)を発表

    Google Researchは、GeminiとProject Astraを基盤に、リアルタイムの映像診察を行う研究用AIシステムAMIE (Video)を公開した。100シナリオ、300件の模擬診療を対象にした無作為化研究で、中核的な臨床能力は一次診療医(PCP)と同等と評価された。ただし評価は模擬患者を使った環境に限られ、実患者での検証が次の課題とされている。

8月11日火
  1. Microsoft AI (MAI) News48

    MAI-Image-2.6、Arenaのtext-to-imageで2位。Google・Meta・xAIのモデルを上回る

    MicrosoftはMAI-Image-2.6を発表し、Arenaのtext-to-imageリーダーボードで2位となった。MAI-Image-2.5からは総合で+79 Elo、テキスト描画では+91 Eloの向上で、全カテゴリーで改善した。Arenaで利用可能で、MAI Playgroundには今週後半に追加され、Microsoft Foundryなどにも順次展開される予定である。

8月10日月
  1. Hugging Face Blog72

    Meta、ローカル向けエージェント対応のマルチモーダルモデルMuse Glimmerを公開、Apache 2.0で提供

    MetaがMuseから30Bパラメータに蒸留したマルチモーダルモデルMuse Glimmerを、Apache 2.0ライセンスで公開した。ローカルでのエージェント用途を想定し、transformers、llama.cpp、vLLM、Inference Endpointsがday-0で対応する。Hugging Face Hubから入手できる。

    選定理由:30Bのローカル向けモデルについて、アーキテクチャと各推論基盤での使い方、ファインチューニングの要件が一続きで整理されている。

8月4日火
  1. Microsoft Source: AI53

    Microsoft ResearchとPaige、病理基盤モデルPRISM2を開発しNature Medicineで発表

    Microsoft ResearchとPaige(現Tempusの傘下)は、組織画像と病理報告書由来の言語で学習した病理基盤モデルPRISM2を開発し、Nature Medicineに発表した。前立腺がん、乳がん、乳房リンパ節転移の検出など複数のベンチマークで、専用のがん検出システムに並ぶか上回る性能を示した。モデルの重みは研究用途向けにHugging Faceで公開されている。

  2. Mistral AI News46

    Mistral AI、オープンウェイトの安全性分類モデル「Shieldstral」を発表

    Mistral AIは、テキストと画像の安全性を評価する3Bのオープンウェイト・マルチモーダル安全性分類モデル「Shieldstral」を、Apache 2.0ライセンスで公開した。ポリシーは推論時に平易な言葉で指定でき、再学習なしで用途に合わせて調整できる。テキスト安全性ではサイズが最大7倍のオープンガードモデルに匹敵し、単一の16GB NVIDIA GPUで動作する。

8月2日日
  1. Interconnects (Nathan Lambert)48

    オープンモデルの最新動向をまとめた「Artifacts #23」、Laguna S2.1・Inkling・Kimi K3など

    オープンモデルの最新動向をまとめた「Artifacts #23」では、Thinking MachinesのInkling(975B-A41B MoE)やKimi K3などを取り上げる。Tencentは、Hy3(295B-A21B MoE)のライセンスをApache 2に変更した。Kimi K3は非商用ライセンスで、推論・ファインチューニング事業者には商用契約が求められる。

7月31日金
  1. Google DeepMind Blog54

    Google DeepMind、ロボット向け推論モデルGemini Robotics ER 2を公開

    Google DeepMindはロボット向けの「身体性推論」モデルGemini Robotics ER 2を公開した。動画理解、タスクのオーケストレーション、マルチロボット連携に対応し、ER 1.6から強化されている。Gemini API、Google AI Studioで開発者に提供され、Gemini Enterprise Agent Platformではプライベートプレビューとなる。

7月30日木
7月28日火
  1. Google DeepMind Blog60

    Google DeepMind、Gemini Robotics 2を発表 ヒューマノイドの全身制御に対応

    Google DeepMindはロボット向けのGemini Robotics 2を発表した。VLAのGemini Robotics 2、推論モデルのGemini Robotics ER 2、オンデバイス向けのGemini Robotics On-Device 2の3モデルで構成し、ヒューマノイドの全身制御や複数ロボットの協調を可能にする。ER 2はGoogle AI Studioで利用でき、VLAとOn-Deviceモデルは早期アクセスパートナー向けに提供される。

    選定理由:全身制御、器用な手の操作、複数ロボットの協調を3つのモデルの役割分担で整理しており、提供範囲や適応に必要なデータ量も確認しやすい。

7月27日月
  1. ABEJA Tech Blog33

    センサー x LLM でのマルチモーダル化 〜 センサーデータを LLM に入力し異常検知レポート作成させてみた

    NAB の公開センサーデータを gemini-3.5-flash に入力して異常検知レポートを作成させ、入力方式ごとの精度を比較する。数値をプロンプトに直接入れる方式では、machine-temp で既知異常区間 4 つのうち 2 つを検出し、誤検知率は 0.06% だった。検出は全体的に疎だが、ambient-temp や network など複数のセンサーでは検出率が 100% となった。

7月23日木
  1. Microsoft Source: AI28

    Microsoft、コミュニティ主導のAIデータ作成基盤「Community Library Creator」

    Microsoftの研究チームは、障害やアイデンティティなど共通の経験を持つコミュニティが、AI生成画像での描かれ方を自ら定義できる基盤「Community Library Creator」を開発した。各ライブラリは約400枚の実世界の画像と説明文で構成され、生成画像へのコミュニティの評価がフィードバックとして使われる。データはアドボカシー団体が所有し、Hugging Faceなどでの共有可否や利用制限も決められる。

7月15日水
  1. Hugging Face Blog72

    Thinking Machines Lab、画像・音声・テキスト対応のオープンモデルInklingとInkling-Smallを公開

    Thinking Machines Labが、画像・テキスト・音声を入力できる約1Tパラメータのオープンモデル Inkling を Hugging Face で公開した。総パラメータ975B、アクティブ41BのMoEで、1Mコンテキストに対応する。276B総・12Bアクティブの Inkling-Small も追加され、Inference Endpoints でワンクリックでデプロイできる。

    選定理由:アーキテクチャの内訳、必要VRAM、各推論エンジンでの起動手順、ベンチマーク表が一つにまとまり、導入可否を判断する材料になる。