本文へスキップ

#マルチモーダル

本日3件
7月1日水
  1. Google DeepMind Blog65

    Google DeepMind、Nano Banana 2 LiteとGemini Omni Flashを開発者向けに提供開始

    Google DeepMindは、最速かつ低コストの画像モデルNano Banana 2 Liteと、動画生成・対話型編集モデルGemini Omni Flashを開発者向けに提供開始した。Nano Banana 2 Liteは1K画像あたり$0.034、text-to-imageの出力は4秒で、Omni Flashは動画出力1秒あたり$0.10である。どちらもGoogle AI Studioとgemini APIから利用できる。

    選定理由:画像生成と動画生成の2モデルを連結する使い方と、価格や制限事項が具体的に示されており、開発での採用判断の材料になる。

6月23日火
  1. Mistral AI News62

    Mistral、OCRモデル「Mistral OCR 4」を発表 バウンディングボックスと信頼度スコアに対応

    Mistral AIはOCRモデルMistral OCR 4を公開した。テキストに加え、バウンディングボックス、ブロック種別の分類、インラインの信頼度スコアを返し、10言語グループにわたる170言語に対応する。APIは1,000ページあたり$4で、Batch APIでは50%割引の$2、Document AIは$5である。単一コンテナでセルフホストもでき、企業向けに提供される。

    選定理由:バウンディングボックスや信頼度スコアを返す構造化出力と、ベンチマーク自体の採点上の限界が併記されており、自社文書での検証の考え方をつかみやすい。

6月17日水
  1. SB Intuitions ブログ30

    Sarashina2.2-OCRデモアプリケーション、JSAI2026で展示

    SB Intuitionsは2026年6月の第40回人工知能学会全国大会(JSAI2026)で、OCRモデル「Sarashina2.2-OCR」を用いたデモアプリケーションを展示した。30億パラメータの日英対応OCRモデルで、縦書き・表・数式を含む文書をMarkdownに再構成する。VJRODaではCER 22.6、BLEU 79.9を記録し、dots.ocr(CER 40.1、BLEU 71.5)を上回った。

6月9日火
  1. Google DeepMind Blog60

    Google DeepMind、エンコーダー不要のマルチモーダルモデルGemma 4 12Bを発表

    Google DeepMindはノートPC向けのマルチモーダルモデルGemma 4 12Bを発表した。画像と音声の入力をエンコーダーなしでLLM本体に直接渡す構成で、16GBのVRAMまたはユニファイドメモリで動作する。Apache 2.0ライセンスで公開され、Hugging FaceとKaggleから重みを入手できる。

    選定理由:画像と音声をエンコーダーなしでLLM本体に直接入力する構成と、16GBで動作するメモリ要件が示されており、ローカル運用の判断材料になる。

6月5日金
  1. Google Research Blog63

    Google Research、スマートフォンのカメラで心拍を受動的に計測するPHRMをNatureで発表

    Google Researchは、顔認証のアンロック直後にフロントカメラで撮影した顔動画から、日常のスマホ利用中に心拍数(HR)と安静時心拍数(RHR)を推定する研究システムPHRMを発表した。論文はNatureに掲載された。HRの誤差はMAPEで10%未満、日次RHRはウェアラブル比でMAE 5 bpm未満である。大規模データセットと学習済みモデル「PHRM-mini」も、資格のある研究者向けに公開する。

    選定理由:顔認証時の短い動画から心拍を推定する手法を、肌の色の多様性に配慮した検証設計と実環境での結果とともに確認できる。

6月2日火
  1. Microsoft AI (MAI) News60

    Microsoft AI、ヘルス分野での価値観の実践を説明 Mayo Clinicとの協業やCopilot Healthに言及

    Microsoft AIは、ヘルス分野で自社の価値観を製品設計や提携に反映していると説明した。Mayo Clinicと医療特化のフロンティアAIモデルを共同開発しており、米国ではCopilot Healthのプレビューを開始している。

    選定理由:ヘルス分野でMicrosoft AIが価値観をどう設計や提携に落とし込むかを、利用規模やMayo Clinicとの協業を軸に整理している。

5月29日金
  1. Google Research Blog67

    Google Research、I/O 2026で科学・医療・気象・量子など研究成果を総括

    Google Researchは、I/O 2026で披露した研究成果を公式ブログで総括した。Gemini for Scienceを発表し、ERAとCo-ScientistはNatureに掲載されたと説明している。医療ではSymptom AIやAMIE、MedGemmaを取り上げ、気象ではWeatherNextやGroundsourceによる洪水予測も紹介している。

    選定理由:科学、医療、気象、量子など分野ごとにGoogle Researchの成果と提供状況が整理されており、I/O 2026の研究面の全体像を把握しやすい。

5月18日月
  1. Google DeepMind Blog55

    Google DeepMind、Project GenieにStreet View連携を追加、Google AI Ultra加入者へ世界展開

    Google DeepMindは、実験的プロトタイプProject GenieにStreet ViewのImagery Groundingによる機能を追加した。Maps上で選んだ米国内の場所を起点に、スタイルやキャラクターを指定して世界を生成できる。対象となる18歳以上のGoogle AI Ultra($200)加入者に向け、世界で順次提供を開始している。

  2. Google DeepMind Blog74

    Google DeepMind、あらゆる入力から動画を生成するGemini Omni Flashを発表

    Google DeepMindは、画像・音声・動画・テキストを入力して動画を生成し、会話で編集できる新モデルGemini Omni Flashを発表した。Gemini app、Google Flow、YouTube Shortsで提供を開始し、Google AI Plus、Pro、Ultraの購読者が利用できる。今後数週間で開発者や企業向けにAPIでも展開する予定である。

    選定理由:動画の会話編集や参照入力、SynthIDによる透明性対応まで、提供範囲と併せて整理されており、利用可否を判断しやすい。

5月17日日
  1. Google DeepMind Blog52

    Google、SynthIDとC2PAによるコンテンツ検証をSearch・Gemini・Chromeなどへ拡大

    Googleは、AI生成コンテンツの来歴や編集有無を確認できる透明性・検証ツールをSearch、Gemini、Chrome、Pixel、Cloudへ拡大すると発表した。SynthIDの検証はGeminiアプリに続きSearchで提供を始め、Chromeでも数週間以内に対応する。Google Cloudでは新たにAI Content Detection APIも投入する。

4月23日木
  1. Google Research Blog60

    Google Photos、Auto frameに撮影後の視点を補正する3D対応の写真再構図を追加

    Googleは、撮影後に写真のカメラ視点を調整する新手法をGoogle PhotosのAuto frame機能として提供開始した。写真を3Dシーンとして解釈し、見えていなかった部分を生成AIで補う。人物を含む対象写真では、再構図された画像がAuto frameの候補の2番目として選べる。

    選定理由:3D推定と生成的補完を分けた二段構成と、Google Photosで使える範囲が具体的に説明されており、写真編集の仕組みを理解しやすい。

4月21日火
  1. カラクリ ニュース30

    カラクリ、GENIAC第3期で国産CUAモデル「KARAKURI VL2」を開発 画像編集・メール操作でClaude Sonnet 4.6を上回る

    カラクリが、PC操作を自律実行する国産CUA向け視覚言語モデル「KARAKURI VL2」(8Bパラメータ)を開発し、GENIAC第3期の成果として公開した。自社開発の日本語PC操作ベンチマーク「OSWorld-JP v0.2」(100タスク)の総合スコアは0.331で、Claude Sonnet 4.6の0.593には及ばないが、画像編集(GIMP)とメール操作(Thunderbird)の2カテゴリではClaude Sonnet 4.6を上回った。

4月2日木
  1. Microsoft AI (MAI) News52

    Microsoft AI、MAI-Transcribe-1など3つのMAIモデルをFoundryで提供開始

    Microsoft AIは、MAI-Transcribe-1、MAI-Voice-1、MAI-Image-2の3モデルをMicrosoft FoundryとMAI Playgroundで提供開始した。料金はMAI-Transcribe-1が1時間あたり$0.36から、MAI-Voice-1が100万文字あたり$22から、MAI-Image-2がテキスト入力100万トークンあたり$5、画像出力100万トークンあたり$33からである。

3月27日金
  1. ELYZA 技術ブログ(Zenn)38

    ルーブリックに基づく主観的な判定を取り入れたGRPO学習

    ELYZA Labが、主観的な判定が必要なスライド生成タスクで、ルーブリックベースの報酬関数を使ったGRPO学習を検証した。学習対象と報酬計算にVLMを用い、報酬用ノードにvLLMでQwen/Qwen3-VL-235B-A22B-Instructを立てて学習用ノードへの影響を抑えている。5段階評価では甘い採点になる課題があるため、評価観点ごとに点数を付ける方式を採用した。

3月17日火
  1. Mistral AI News60

    Mistral AI、統合型オープンモデル「Mistral Small 4」を発表

    Mistral AIはMistral Small 4を発表した。Magistralの推論、Pixtralのマルチモーダル、Devstralのエージェント型コーディングを1つのモデルに統合し、Apache 2.0ライセンスで公開している。119B総パラメータのMoEで256kコンテキストウィンドウに対応し、Mistral Small 3と比べてレイテンシ重視設定でエンドツーエンドの完了時間を40%削減、スループット重視設定で毎秒リクエスト数を3倍にした。

    選定理由:推論、マルチモーダル、エージェント型コーディングを1モデルに統合した構成と、出力長を抑えた比較が示されており、モデル選定の軸を整理しやすい。

12月21日日
  1. One Useful Thing (Ethan Mollick)56

    Ethan Mollick、AIのジャグドフロンティアとボトルネックを論じる

    Ethan Mollickは、AIの能力が不均一なまま伸びる以上、人間の仕事を完全には代替しにくいと論じている。ボトルネックが1つ解消されると全体が一気に進む例として、Google の Nano Banana Pro と NotebookLM のスライド生成を挙げ、ベンチマークではなくボトルネックを見るよう勧めている。

12月19日金
  1. Turing 技術ブログ(Zenn)33

    「画像なし」で挑むVLM学習、Text-Printed Imageによるアプローチ

    Turingのインターン研究チームが、テキストを白い画像に印字したText-Printed Image(TPI)を入力に使い、実画像なしでVLMを学習する手法を提案した。実験では、テキストをそのまま使う学習(Text-only)より大きな性能向上を示し、一部のタスクではGT-Image(実画像による学習)に迫る改善も見られた。GPT-4o-miniを用いたSelf-Instructによるデータ拡張(1万サンプル生成)でも、シードデータが少ない場合と完全な場合の両方で性能が向上したと報告されている。

12月3日水
  1. Mistral AI News71

    Mistral AI、Mistral 3を発表 Mistral Large 3とMinistral 3を Apache 2.0 で公開

    Mistral AIは次世代モデルMistral 3を発表した。14B・8B・3Bの小型denseモデルと、アクティブ41B・総計675BパラメータのMoEであるMistral Large 3で構成し、全モデルを Apache 2.0 ライセンスで公開する。Mistral Large 3はLMArenaでOSS非推論モデル部門2位、Ministral 3 14Bの推論版はAIME '25で85%を記録した。

    選定理由:3B・8B・14Bの小型モデルと675B規模のMoEを同じ Apache 2.0 で公開しており、用途別の選択肢と配布先を比較しやすい。

11月25日火
8月1日金
  1. Mistral AI News27

    Pixtral-12Bのファインチューニングで衛星画像の分類性能を高める方法

    Mistralは、Pixtral-12Bを衛星画像でファインチューニングすると、ベースモデルより大きな改善が得られるとしている。評価にはAerial Image Dataset(AID)を用い、8,000件の学習データと2,000件のテストデータに分けた。プロンプトのみでは曖昧なクラスの識別や、存在しないクラス名の出力が課題だった。

5月7日水
  1. Mistral AI News54

    Mistral AI、エンタープライズ向けモデルMistral Medium 3を発表

    Mistral AIはMistral Medium 3を発表した。Claude Sonnet 3.7の90%以上の性能を、入力$0.4・出力$2(100万トークンあたり)の低コストで実現するとしている。APIはMistral La PlateformeとAmazon Sagemakerで提供中で、ハイブリッドやオンプレミス、in-VPCでの展開にも対応する。

3月28日金
  1. AISI Japan: Output23

    AIセーフティ・インスティテュート、「AIセーフティに関する評価観点ガイド」第1.10版を公開

    AIセーフティ・インスティテュート(J-AISI)は、「AIセーフティに関する評価観点ガイド」の改訂版となる第1.10版を公開した。画像解析などAIの活用範囲の広がりをふまえ、マルチモーダル基盤モデルを評価対象とする場合の評価観点と評価項目例を調査して反映した。

3月17日月
  1. Mistral AI News57

    Mistral、Mistral Small 3.1を発表 Apache 2.0で公開、コンテキストは最大128k

    Mistral AIは、テキスト性能とマルチモーダル理解を改善し、コンテキストウィンドウを最大128k トークンに拡張したMistral Small 3.1を発表した。Apache 2.0ライセンスで公開され、Gemma 3やGPT-4o Miniを上回り、推論速度は150 トークン/秒としている。Hugging Faceからベースモデルとインストラクトモデルをダウンロードできる。