本文へスキップ

#マルチモーダル

本日1件
9月10日木
  1. Hugging Face Blog40

    Gradio WorkflowによるAUTOMATIC1111の再構築

    Hugging Faceは、AUTOMATIC1111のstable-diffusion-webuiの機能の大半を単一のワークフローキャンバスで再現した「Workflow1111」を紹介した。11本のパイプラインと73個のノードで構成され、text-to-imageやFLUX.1-Kontextによるhi-resolution fix、prompt matrix、PNG Infoなどを含む。利用にはHugging Faceアカウントでのサインインまたはアクセストークンが必要で、モデル呼び出しは利用者自身のクォータを消費する。

  2. Google AI Blog37

    AIで70年連れ添った夫婦の記憶を再現 Google DeepMindが短編映画『Love, Rendered』に協力

    Google DeepMindは映画制作者と共同で、短編ドキュメンタリー『Love, Rendered』を制作し、結婚70年以上のBurt and Ethelle Shatz夫妻が記録されていない出会いの日をAIで再現した。白黒写真の画像修復とパフォーマンスキャプチャモデルを組み合わせ、現在の夫妻の仕草を若い頃の姿に写し取っている。写真の復元はGeminiアプリでも可能である。

9月5日土
  1. Microsoft AI (MAI) News50

    Microsoft、MAI-Image-2.6をFoundryで提供開始、高速版MAI-Image-2.6-Flashも追加

    Microsoftは画像モデルMAI-Image-2.6をMicrosoft Foundryの開発者向けに提供し、低遅延向けのMAI-Image-2.6-Flashを加えた。MAI-Image-2.6はArenaでtext to imageと画像編集がともにNo. 2、Artificial Analysisではtext-to-imageがNo. 2、画像編集がNo. 1である。Flashは GPT-Image-2-Mediumより2.8倍高速で、効率は72%高いとしている。

9月4日金
  1. SB Intuitions ブログ34

    SB Intuitions、日本語に強い画像生成基盤モデルSarashina Image 2.6Bを開発

    SB Intuitionsは、日本語および英語のプロンプトから高解像度画像を生成する画像生成基盤モデル「Sarashina Image 2.6B」を開発した。26億パラメータのDiffusion Transformer(DiT)を既存モデルのファインチューニングではなくフルスクラッチで訓練し、Text Encoderには自社のSarashina2.2-Vision-3Bを採用している。学習データは自社購入の大規模ストックフォトを中核に、ライセンスや利用規約を遵守したオープンデータセットを組み合わせて構築した。

  2. Google DeepMind Blog62

    Google DeepMind、気象AIモデルWeatherNext 3を発表 衛星データを取り込み毎時予報を生成

    Google DeepMindとGoogle Researchは、グローバル気象AIモデルWeatherNext 3を発表した。リアルタイムの衛星データを学習に用い、最大5kmの解像度で毎時予報を生成する。Search、Gemini、Maps、Google Maps Platform、Cloudなどに今日から順次組み込まれ、降水予報は1日以上先で最大50%精度が向上するとしている。

    選定理由:衛星データの直接学習や5km解像度など、前世代WeatherNext 2との差分が数値で整理されており、改良点を把握しやすい。

9月3日木
  1. Microsoft Source: AI22

    Kier GroupのLouisa Finlay氏、Copilotで建設業の安全性と生産性を高める

    英国の建設・インフラ企業Kier Groupは、約11,000人の従業員を抱え、約40%がMicrosoft 365 Copilotを利用している。残りはTeams Premiumを使う。少人数のピアグループで行う「prompt-a-thon」で導入を促し、利用が広がった。現在は安全データの収集・整理などを担うAIエージェントを開発する初期段階にあり、運用方針は「Human at the Helm」である。

9月2日水
  1. Google AI Developers33

    Geminiは拍手の回数を数えられるか?👏 素早い動きを正確に数えることは、AIにとって難しいタスクとして知られている。静的な処理ではデフォルトで動画が固定の1 FPSで取り込まれるため、拍手のような一瞬の動きは完全に見逃されたり、指鳴らしやクリック音と混同されたりしやすい。 Gemini 3.7 Flashが新しいエージェント型の動画理解機能を使い、必要に応じて処理速度を自動で調整することで、拍手の一回一回を正確に識別して数える様子をご覧ください:

  2. Google DeepMind Blog60

    Google DeepMind、Geminiにエージェント型動画理解を導入、トークン消費を最大88%削減

    Google DeepMindは、Gemini 3.7 Flash、3.6 Flash、3.5 Flash-Lite向けにエージェント型動画理解を提供開始した。標準的な動画分析ベンチマークで、コストを最大66%、トークン消費を最大88%削減し、精度は最大7%向上したという。Gemini API(Google AI Studio)とGemini Enterprise Agent Platformで、動画アップロードとYouTube動画に対応し、追加料金はない。

    選定理由:固定FPSで動画を読み込む従来方式との違いと、トークン88%減などの数値、有効化の設定方法が一緒に示されており、導入判断の材料になる。

9月1日火
  1. LLM-jp(国立情報学研究所)38

    LLM-jp、視覚言語モデル「LLM-jp-4-VL 9B」を公開 llm-jp-4-8b-thinkingをマルチモーダル化

    大規模言語モデル研究開発センター(LLMC)は、llm-jp-4-8b-thinkingをマルチモーダル化した視覚言語モデル「LLM-jp-4-VL 9B」を公開した。FineVisionの問題データを削除・修正したデータセット「RefinedVision」も併せて公開し、学習データは約2,930万件である。beta版よりGPQAやCharXiv Reasoningなどで性能が向上した一方、Qwen3.5-9Bとは多くのタスクで差が残る。

8月28日金
  1. Google DeepMind Blog59

    Google DeepMind、Gemini Omni 1.1 Flashを発表 シーン延長や4Kアップスケールに対応

    Google DeepMindは、開発者向け動画生成モデルGemini Omni 1.1 Flashを発表した。シーン延長、最初と最後のフレーム指定、360pドラフト、1080p/4K出力、動画参照入力に対応する。Google AI StudioのGemini APIやGoogle Flowなどで本日から利用できる。

8月26日水
  1. Google Research Blog32

    AgentHands、XRで空間に根ざしたエージェント対話向けの手ジェスチャーを生成

    Googleは、XR上でAIエージェントの音声に合わせて手のジェスチャーを生成する研究プロトタイプ「AgentHands」を発表した。CHI 2026で発表された研究で、LLMの応答に埋め込まれたジェスチャーイベントを、単語単位のタイムスタンプを使って音声と同期させる。12名を対象とした被験者内実験では、音声のみのベースラインと比べて空間的なグラウンディングが有意に向上したと報告されている。

8月21日金
  1. DeepSeek62

    DeepSeekは実験的マルチモーダルモデルDeepSeek-V4-Flash-Vision-ExpをDeepSeek API Platformで公開した。テキスト能力はDeepSeek-V4-Flashと同等で、マルチモーダルのエージェント系ベンチマークではV4-Flashから大きく向上し、Opus-4.8に近い水準になったとしている。利用は model='deepseek-v4-flash-vision-exp' で指定し、DeepSeek Harness 0.1.1も同日に公開された。

8月19日水
  1. SB Intuitions ブログ34

    SB Intuitions、リアルタイム対話キャラクター向けストリーミング音声駆動動画生成を紹介

    SB Intuitionsは、ストリーミング音声を入力に対話キャラクターの動画応答を生成する、音声駆動動画生成のエンドツーエンド試作を紹介した。ベースにはLTX 2.3を用い、Self-Forcingを改良したODE初期化とDMD蒸留の2段階でポストトレーニングして自己回帰モデルを得ている。推論では参照画像と最初の動画チャンクのトークンをアテンションシンクとして保持する。

8月12日水
  1. Google DeepMind Blog61

    Google DeepMind、手話からテキストへの翻訳モデルSL2Tを発表 Pixel 11のGboardなどに搭載

    Google DeepMindは、50以上の手話を学習した手話からテキストへの翻訳モデルSL2Tを発表した。Pixel 11のGboardとLive Transcribeで、ASLから英語へのサインtoテキスト入力に対応する。FLEURS-ASL(sd-test)でゼロショット70 BLEURTを記録し、従来の報告値を大きく上回ると説明している。

    選定理由:手話をポーズ座標だけで翻訳する設計や、100,000時間超の学習データ、既知の誤りの例まで具体的に示されており、手話AIの現状を把握しやすい。

  2. Google Research Blog53

    Google Research、リアルタイム映像診療に対応したAMIE (Video)を発表

    Google Researchは、GeminiとProject Astraを基盤に、リアルタイムの映像診察を行う研究用AIシステムAMIE (Video)を公開した。100シナリオ、300件の模擬診療を対象にした無作為化研究で、中核的な臨床能力は一次診療医(PCP)と同等と評価された。ただし評価は模擬患者を使った環境に限られ、実患者での検証が次の課題とされている。

8月11日火
  1. Microsoft AI (MAI) News48

    MAI-Image-2.6、Arenaのtext-to-imageで2位。Google・Meta・xAIのモデルを上回る

    MicrosoftはMAI-Image-2.6を発表し、Arenaのtext-to-imageリーダーボードで2位となった。MAI-Image-2.5からは総合で+79 Elo、テキスト描画では+91 Eloの向上で、全カテゴリーで改善した。Arenaで利用可能で、MAI Playgroundには今週後半に追加され、Microsoft Foundryなどにも順次展開される予定である。

8月10日月
  1. Hugging Face Blog72

    Meta、ローカル向けエージェント対応のマルチモーダルモデルMuse Glimmerを公開、Apache 2.0で提供

    MetaがMuseから30Bパラメータに蒸留したマルチモーダルモデルMuse Glimmerを、Apache 2.0ライセンスで公開した。ローカルでのエージェント用途を想定し、transformers、llama.cpp、vLLM、Inference Endpointsがday-0で対応する。Hugging Face Hubから入手できる。

    選定理由:30Bのローカル向けモデルについて、アーキテクチャと各推論基盤での使い方、ファインチューニングの要件が一続きで整理されている。

8月4日火
  1. Microsoft Source: AI53

    Microsoft ResearchとPaige、病理基盤モデルPRISM2を開発しNature Medicineで発表

    Microsoft ResearchとPaige(現Tempusの傘下)は、組織画像と病理報告書由来の言語で学習した病理基盤モデルPRISM2を開発し、Nature Medicineに発表した。前立腺がん、乳がん、乳房リンパ節転移の検出など複数のベンチマークで、専用のがん検出システムに並ぶか上回る性能を示した。モデルの重みは研究用途向けにHugging Faceで公開されている。

  2. Mistral AI News46

    Mistral AI、オープンウェイトの安全性分類モデル「Shieldstral」を発表

    Mistral AIは、テキストと画像の安全性を評価する3Bのオープンウェイト・マルチモーダル安全性分類モデル「Shieldstral」を、Apache 2.0ライセンスで公開した。ポリシーは推論時に平易な言葉で指定でき、再学習なしで用途に合わせて調整できる。テキスト安全性ではサイズが最大7倍のオープンガードモデルに匹敵し、単一の16GB NVIDIA GPUで動作する。

7月31日金
  1. Google DeepMind Blog54

    Google DeepMind、ロボット向け推論モデルGemini Robotics ER 2を公開

    Google DeepMindはロボット向けの「身体性推論」モデルGemini Robotics ER 2を公開した。動画理解、タスクのオーケストレーション、マルチロボット連携に対応し、ER 1.6から強化されている。Gemini API、Google AI Studioで開発者に提供され、Gemini Enterprise Agent Platformではプライベートプレビューとなる。

7月30日木
7月28日火
  1. Google DeepMind Blog60

    Google DeepMind、Gemini Robotics 2を発表 ヒューマノイドの全身制御に対応

    Google DeepMindはロボット向けのGemini Robotics 2を発表した。VLAのGemini Robotics 2、推論モデルのGemini Robotics ER 2、オンデバイス向けのGemini Robotics On-Device 2の3モデルで構成し、ヒューマノイドの全身制御や複数ロボットの協調を可能にする。ER 2はGoogle AI Studioで利用でき、VLAとOn-Deviceモデルは早期アクセスパートナー向けに提供される。

    選定理由:全身制御、器用な手の操作、複数ロボットの協調を3つのモデルの役割分担で整理しており、提供範囲や適応に必要なデータ量も確認しやすい。

7月27日月
  1. ABEJA Tech Blog33

    センサー x LLM でのマルチモーダル化 〜 センサーデータを LLM に入力し異常検知レポート作成させてみた

    NAB の公開センサーデータを gemini-3.5-flash に入力して異常検知レポートを作成させ、入力方式ごとの精度を比較する。数値をプロンプトに直接入れる方式では、machine-temp で既知異常区間 4 つのうち 2 つを検出し、誤検知率は 0.06% だった。検出は全体的に疎だが、ambient-temp や network など複数のセンサーでは検出率が 100% となった。

7月23日木
  1. Microsoft Source: AI28

    Microsoft、コミュニティ主導のAIデータ作成基盤「Community Library Creator」

    Microsoftの研究チームは、障害やアイデンティティなど共通の経験を持つコミュニティが、AI生成画像での描かれ方を自ら定義できる基盤「Community Library Creator」を開発した。各ライブラリは約400枚の実世界の画像と説明文で構成され、生成画像へのコミュニティの評価がフィードバックとして使われる。データはアドボカシー団体が所有し、Hugging Faceなどでの共有可否や利用制限も決められる。

7月15日水
  1. Hugging Face Blog72

    Thinking Machines Lab、画像・音声・テキスト対応のオープンモデルInklingとInkling-Smallを公開

    Thinking Machines Labが、画像・テキスト・音声を入力できる約1Tパラメータのオープンモデル Inkling を Hugging Face で公開した。総パラメータ975B、アクティブ41BのMoEで、1Mコンテキストに対応する。276B総・12Bアクティブの Inkling-Small も追加され、Inference Endpoints でワンクリックでデプロイできる。

    選定理由:アーキテクチャの内訳、必要VRAM、各推論エンジンでの起動手順、ベンチマーク表が一つにまとまり、導入可否を判断する材料になる。

7月1日水
  1. Google DeepMind Blog65

    Google DeepMind、Nano Banana 2 LiteとGemini Omni Flashを開発者向けに提供開始

    Google DeepMindは、最速かつ低コストの画像モデルNano Banana 2 Liteと、動画生成・対話型編集モデルGemini Omni Flashを開発者向けに提供開始した。Nano Banana 2 Liteは1K画像あたり$0.034、text-to-imageの出力は4秒で、Omni Flashは動画出力1秒あたり$0.10である。どちらもGoogle AI Studioとgemini APIから利用できる。

    選定理由:画像生成と動画生成の2モデルを連結する使い方と、価格や制限事項が具体的に示されており、開発での採用判断の材料になる。

6月23日火
  1. Mistral AI News62

    Mistral、OCRモデル「Mistral OCR 4」を発表 バウンディングボックスと信頼度スコアに対応

    Mistral AIはOCRモデルMistral OCR 4を公開した。テキストに加え、バウンディングボックス、ブロック種別の分類、インラインの信頼度スコアを返し、10言語グループにわたる170言語に対応する。APIは1,000ページあたり$4で、Batch APIでは50%割引の$2、Document AIは$5である。単一コンテナでセルフホストもでき、企業向けに提供される。

    選定理由:バウンディングボックスや信頼度スコアを返す構造化出力と、ベンチマーク自体の採点上の限界が併記されており、自社文書での検証の考え方をつかみやすい。

6月17日水
  1. SB Intuitions ブログ30

    Sarashina2.2-OCRデモアプリケーション、JSAI2026で展示

    SB Intuitionsは2026年6月の第40回人工知能学会全国大会(JSAI2026)で、OCRモデル「Sarashina2.2-OCR」を用いたデモアプリケーションを展示した。30億パラメータの日英対応OCRモデルで、縦書き・表・数式を含む文書をMarkdownに再構成する。VJRODaではCER 22.6、BLEU 79.9を記録し、dots.ocr(CER 40.1、BLEU 71.5)を上回った。

6月9日火
  1. Google DeepMind Blog60

    Google DeepMind、エンコーダー不要のマルチモーダルモデルGemma 4 12Bを発表

    Google DeepMindはノートPC向けのマルチモーダルモデルGemma 4 12Bを発表した。画像と音声の入力をエンコーダーなしでLLM本体に直接渡す構成で、16GBのVRAMまたはユニファイドメモリで動作する。Apache 2.0ライセンスで公開され、Hugging FaceとKaggleから重みを入手できる。

    選定理由:画像と音声をエンコーダーなしでLLM本体に直接入力する構成と、16GBで動作するメモリ要件が示されており、ローカル運用の判断材料になる。

6月5日金
  1. Google Research Blog63

    Google Research、スマートフォンのカメラで心拍を受動的に計測するPHRMをNatureで発表

    Google Researchは、顔認証のアンロック直後にフロントカメラで撮影した顔動画から、日常のスマホ利用中に心拍数(HR)と安静時心拍数(RHR)を推定する研究システムPHRMを発表した。論文はNatureに掲載された。HRの誤差はMAPEで10%未満、日次RHRはウェアラブル比でMAE 5 bpm未満である。大規模データセットと学習済みモデル「PHRM-mini」も、資格のある研究者向けに公開する。

    選定理由:顔認証時の短い動画から心拍を推定する手法を、肌の色の多様性に配慮した検証設計と実環境での結果とともに確認できる。

6月2日火
  1. Microsoft AI (MAI) News60

    Microsoft AI、ヘルス分野での価値観の実践を説明 Mayo Clinicとの協業やCopilot Healthに言及

    Microsoft AIは、ヘルス分野で自社の価値観を製品設計や提携に反映していると説明した。Mayo Clinicと医療特化のフロンティアAIモデルを共同開発しており、米国ではCopilot Healthのプレビューを開始している。

    選定理由:ヘルス分野でMicrosoft AIが価値観をどう設計や提携に落とし込むかを、利用規模やMayo Clinicとの協業を軸に整理している。

5月29日金
  1. Google Research Blog67

    Google Research、I/O 2026で科学・医療・気象・量子など研究成果を総括

    Google Researchは、I/O 2026で披露した研究成果を公式ブログで総括した。Gemini for Scienceを発表し、ERAとCo-ScientistはNatureに掲載されたと説明している。医療ではSymptom AIやAMIE、MedGemmaを取り上げ、気象ではWeatherNextやGroundsourceによる洪水予測も紹介している。

    選定理由:科学、医療、気象、量子など分野ごとにGoogle Researchの成果と提供状況が整理されており、I/O 2026の研究面の全体像を把握しやすい。

5月18日月
  1. Google DeepMind Blog55

    Google DeepMind、Project GenieにStreet View連携を追加、Google AI Ultra加入者へ世界展開

    Google DeepMindは、実験的プロトタイプProject GenieにStreet ViewのImagery Groundingによる機能を追加した。Maps上で選んだ米国内の場所を起点に、スタイルやキャラクターを指定して世界を生成できる。対象となる18歳以上のGoogle AI Ultra($200)加入者に向け、世界で順次提供を開始している。

  2. Google DeepMind Blog74

    Google DeepMind、あらゆる入力から動画を生成するGemini Omni Flashを発表

    Google DeepMindは、画像・音声・動画・テキストを入力して動画を生成し、会話で編集できる新モデルGemini Omni Flashを発表した。Gemini app、Google Flow、YouTube Shortsで提供を開始し、Google AI Plus、Pro、Ultraの購読者が利用できる。今後数週間で開発者や企業向けにAPIでも展開する予定である。

    選定理由:動画の会話編集や参照入力、SynthIDによる透明性対応まで、提供範囲と併せて整理されており、利用可否を判断しやすい。

5月17日日
  1. Google DeepMind Blog52

    Google、SynthIDとC2PAによるコンテンツ検証をSearch・Gemini・Chromeなどへ拡大

    Googleは、AI生成コンテンツの来歴や編集有無を確認できる透明性・検証ツールをSearch、Gemini、Chrome、Pixel、Cloudへ拡大すると発表した。SynthIDの検証はGeminiアプリに続きSearchで提供を始め、Chromeでも数週間以内に対応する。Google Cloudでは新たにAI Content Detection APIも投入する。

4月23日木
  1. Google Research Blog60

    Google Photos、Auto frameに撮影後の視点を補正する3D対応の写真再構図を追加

    Googleは、撮影後に写真のカメラ視点を調整する新手法をGoogle PhotosのAuto frame機能として提供開始した。写真を3Dシーンとして解釈し、見えていなかった部分を生成AIで補う。人物を含む対象写真では、再構図された画像がAuto frameの候補の2番目として選べる。

    選定理由:3D推定と生成的補完を分けた二段構成と、Google Photosで使える範囲が具体的に説明されており、写真編集の仕組みを理解しやすい。

4月21日火
  1. カラクリ ニュース30

    カラクリ、GENIAC第3期で国産CUAモデル「KARAKURI VL2」を開発 画像編集・メール操作でClaude Sonnet 4.6を上回る

    カラクリが、PC操作を自律実行する国産CUA向け視覚言語モデル「KARAKURI VL2」(8Bパラメータ)を開発し、GENIAC第3期の成果として公開した。自社開発の日本語PC操作ベンチマーク「OSWorld-JP v0.2」(100タスク)の総合スコアは0.331で、Claude Sonnet 4.6の0.593には及ばないが、画像編集(GIMP)とメール操作(Thunderbird)の2カテゴリではClaude Sonnet 4.6を上回った。

4月2日木
  1. Microsoft AI (MAI) News52

    Microsoft AI、MAI-Transcribe-1など3つのMAIモデルをFoundryで提供開始

    Microsoft AIは、MAI-Transcribe-1、MAI-Voice-1、MAI-Image-2の3モデルをMicrosoft FoundryとMAI Playgroundで提供開始した。料金はMAI-Transcribe-1が1時間あたり$0.36から、MAI-Voice-1が100万文字あたり$22から、MAI-Image-2がテキスト入力100万トークンあたり$5、画像出力100万トークンあたり$33からである。