本文へスキップ

マルチモーダル

テキストの先へ。画像と文章の混在、音声や動画の入出力を扱うモデルと製品。

おすすめ26件関連トピック画像生成AI動画音声・オーディオ

最新の注目記事

26件中 1〜20件
10月19日月
  1. xAI News60

    xAI、Imagine Video 1.5に画像・音声リファレンスと1080p生成を追加

    xAIは動画生成モデルImagine Video 1.5に、画像と音声のリファレンス、プロンプトのみのtext-to-video、ネイティブ1080p生成を追加した。リファレンスは1回の生成で最大7つまで使え、顔や商品、場所などを固定できる。画像・音声リファレンスは米国のSuperGrok HeavyとSuperGrok Plus向けに先行提供され、数日以内に全プランへ拡大する。

    選定理由:参照画像と音声参照で人物や場面を固定でき、提供範囲とAPI対応も具体的に示されているため、動画制作での使い方を想定しやすい。

  2. Google Developers Blog62

    Google、Gemma 4ベースの埋め込みモデルEmbeddingGemma 2を公開、5種類のデータを統一空間に

    GoogleはGemma 4をベースにしたApache 2.0ライセンスのオープンモデルEmbeddingGemma 2を公開した。テキスト、コード、画像、動画、音声を768次元の共通ベクトル空間に変換し、270Mから740Mパラメータまで必要なエンコーダーだけを読み込める。MTEB (Code)ではEmbeddingGemma 1より14%高いスコアを示している。

    選定理由:モジュール式エンコーダーと次元削減の選び方が数値付きで整理されており、自分の検索基盤の構成を検討する際の比較材料になる。

10月15日木
  1. Hugging Face Blog69

    Meta、オープンウェイトのマルチモーダルMoEモデル「Muse Spark Open」を公開

    Metaはオープンウェイトのモデル「Muse Spark Open」を公開した。総パラメータ約816B、トークンあたりのアクティブ約42BのMoEで、テキスト、画像、音声、動画を入力でき、コンテキストウィンドウは最大1Mトークンである。Hugging Face Blogでは、transformers、llama.cpp、SGLang、vLLM、MLXでの実行方法とTRLによるファインチューニング、デモを紹介している。

    選定理由:総パラメータ約816B、アクティブ約42Bという構成と、各推論環境での動かし方や必要なメモリ量がまとまっており、導入規模を見積もる材料になる。

  2. Hugging Face Blog60

    Black Forest Labs、FLUX.3 Image Kleinを公開 Diffusersで初日から利用可能

    Black Forest LabsのFLUX.3 Image Kleinが公開され、Diffusersで初日から動作する。1つのモデルでtext-to-image、複数参照のimage-to-image、バウンディングボックスによるレイアウト制御に対応する。蒸留版は16ステップでCFGなし、H100で1024 × 1024の画像を約2秒で生成する。NVFP4とFP8の重み、LoRA学習スクリプト、Modular Diffusersパイプラインも提供される。

    選定理由:bboxをプロンプトに書いて配置や移動を指定する操作法と、H100での速度やメモリの実測値が併記されており、導入時の負荷を見積もりやすい。

10月14日水
  1. Google DeepMind Blog62

    Google DeepMind、ロボティクス向けGemini 4 Argonを公開、ERQAで87%

    Google DeepMindはGemini 4 Argonを公開した。物理理解、コード生成、視覚的・意味的推論が大きく進歩したとしており、Embodied Reasoning(ERQA)ベンチマークで純粋な推論により87%を記録し、他のフロンティアモデルを上回ると説明している。gemini-4-argonとしてGoogle AI Studio、Gemini API、Google Antigravityで利用できる。

    選定理由:ロボット制御やReal2Simなど四領域の具体的なプロンプト例が並び、物理推論モデルの使い方を自分の作業に置き換えて検討しやすい。

10月8日木
  1. OpenAI67

    OpenAIはGPT-6とIntelligent UIをChatGPTの全ユーザー向けに順次提供し始めた。Intelligent UIは、高速でインタラクティブな回答により、日常の質問をより視覚的にし、複雑な話題を理解しやすくするという。

    選定理由:GPT-6と新しい回答表示が全ユーザー向けに展開されると示されており、日常の質問や複雑な話題での見せ方の変化を把握する手がかりになる。

10月7日水
10月6日火
  1. Mistral AI News62

    Mistral、Mistral Large 4のパブリックプレビューを開始、ウェイトは月末公開予定

    Mistralは、総パラメータ1兆、アクティブ520億のネイティブマルチモーダルモデルMistral Large 4(ML4)のパブリックプレビューを開始した。プレビューAPIはMistral Studioで試用でき、ウェイトは今月末に公開予定である。コーディング、エージェント型ワークフロー、マルチモーダル理解で高い性能を示すとしており、Artificial Analysis Cyber Indexでは世界上位5モデルに入るとしている。

    選定理由:サイバーセキュリティや金融、法務での評価結果に加え、学習基盤とRLの運用規模まで示されており、オープンウェイト大型モデルの位置づけを比較しやすい。

10月3日土
  1. Google AI Blog60

    Google、9月のAI発表をまとめて公開 Gemini 4 Argon、Connected Apps、WeatherNext 3など

    Googleは9月のAI関連発表をまとめ、最新のフロンティアモデルGemini 4 Argonを筆頭に挙げた。出力上限は100万トークンで、現在はFairwind Program経由で信頼されたサイバー防御担当者向けに提供している。ほかにGemini 3.8 Flash、Gemini appのConnected Apps、WeatherNext 3、Googlebookの予約受付なども紹介している。

    選定理由:Gemini 4 Argonを軸に、音声、連携アプリ、天気予報、ゲノム研究まで9月の発表が一覧で整理されており、全体像をつかみやすい。

10月2日金
  1. Google Blog: Gemini61

    Google、Gemini LiveにAndroid向け「Guided Vision」を追加

    Googleは、対応するAndroid端末のGemini Liveで、カメラ映像を音声でリアルタイムに説明する「Guided Vision」の提供を開始した。視覚障害や弱視の人を主な対象とし、周囲の説明や追加質問への回答、カメラの向きを直す音声ガイドに対応する。Android 9以上で、Gemini Liveが使える地域と言語で利用できる。

    選定理由:視覚障害者向けにカメラ共有の音声ガイドを提供し、起動方法と利用条件、ナビ用途ではないという制限まで具体的に示している。

9月4日金
  1. Google DeepMind Blog62

    Google DeepMind、気象AIモデルWeatherNext 3を発表 衛星データを取り込み毎時予報を生成

    Google DeepMindとGoogle Researchは、グローバル気象AIモデルWeatherNext 3を発表した。リアルタイムの衛星データを学習に用い、最大5kmの解像度で毎時予報を生成する。Search、Gemini、Maps、Google Maps Platform、Cloudなどに今日から順次組み込まれ、降水予報は1日以上先で最大50%精度が向上するとしている。

    選定理由:衛星データの直接学習や5km解像度など、前世代WeatherNext 2との差分が数値で整理されており、改良点を把握しやすい。

9月2日水
  1. Google DeepMind Blog60

    Google DeepMind、Geminiにエージェント型動画理解を導入、トークン消費を最大88%削減

    Google DeepMindは、Gemini 3.7 Flash、3.6 Flash、3.5 Flash-Lite向けにエージェント型動画理解を提供開始した。標準的な動画分析ベンチマークで、コストを最大66%、トークン消費を最大88%削減し、精度は最大7%向上したという。Gemini API(Google AI Studio)とGemini Enterprise Agent Platformで、動画アップロードとYouTube動画に対応し、追加料金はない。

    選定理由:固定FPSで動画を読み込む従来方式との違いと、トークン88%減などの数値、有効化の設定方法が一緒に示されており、導入判断の材料になる。

8月12日水
  1. Google DeepMind Blog61

    Google DeepMind、手話からテキストへの翻訳モデルSL2Tを発表 Pixel 11のGboardなどに搭載

    Google DeepMindは、50以上の手話を学習した手話からテキストへの翻訳モデルSL2Tを発表した。Pixel 11のGboardとLive Transcribeで、ASLから英語へのサインtoテキスト入力に対応する。FLEURS-ASL(sd-test)でゼロショット70 BLEURTを記録し、従来の報告値を大きく上回ると説明している。

    選定理由:手話をポーズ座標だけで翻訳する設計や、100,000時間超の学習データ、既知の誤りの例まで具体的に示されており、手話AIの現状を把握しやすい。

8月10日月
  1. Hugging Face Blog72

    Meta、ローカル向けエージェント対応のマルチモーダルモデルMuse Glimmerを公開、Apache 2.0で提供

    MetaがMuseから30Bパラメータに蒸留したマルチモーダルモデルMuse Glimmerを、Apache 2.0ライセンスで公開した。ローカルでのエージェント用途を想定し、transformers、llama.cpp、vLLM、Inference Endpointsがday-0で対応する。Hugging Face Hubから入手できる。

    選定理由:30Bのローカル向けモデルについて、アーキテクチャと各推論基盤での使い方、ファインチューニングの要件が一続きで整理されている。

7月28日火
  1. Google DeepMind Blog60

    Google DeepMind、Gemini Robotics 2を発表 ヒューマノイドの全身制御に対応

    Google DeepMindはロボット向けのGemini Robotics 2を発表した。VLAのGemini Robotics 2、推論モデルのGemini Robotics ER 2、オンデバイス向けのGemini Robotics On-Device 2の3モデルで構成し、ヒューマノイドの全身制御や複数ロボットの協調を可能にする。ER 2はGoogle AI Studioで利用でき、VLAとOn-Deviceモデルは早期アクセスパートナー向けに提供される。

    選定理由:全身制御、器用な手の操作、複数ロボットの協調を3つのモデルの役割分担で整理しており、提供範囲や適応に必要なデータ量も確認しやすい。

7月15日水
  1. Hugging Face Blog72

    Thinking Machines Lab、画像・音声・テキスト対応のオープンモデルInklingとInkling-Smallを公開

    Thinking Machines Labが、画像・テキスト・音声を入力できる約1Tパラメータのオープンモデル Inkling を Hugging Face で公開した。総パラメータ975B、アクティブ41BのMoEで、1Mコンテキストに対応する。276B総・12Bアクティブの Inkling-Small も追加され、Inference Endpoints でワンクリックでデプロイできる。

    選定理由:アーキテクチャの内訳、必要VRAM、各推論エンジンでの起動手順、ベンチマーク表が一つにまとまり、導入可否を判断する材料になる。

7月1日水
  1. Google DeepMind Blog65

    Google DeepMind、Nano Banana 2 LiteとGemini Omni Flashを開発者向けに提供開始

    Google DeepMindは、最速かつ低コストの画像モデルNano Banana 2 Liteと、動画生成・対話型編集モデルGemini Omni Flashを開発者向けに提供開始した。Nano Banana 2 Liteは1K画像あたり$0.034、text-to-imageの出力は4秒で、Omni Flashは動画出力1秒あたり$0.10である。どちらもGoogle AI Studioとgemini APIから利用できる。

    選定理由:画像生成と動画生成の2モデルを連結する使い方と、価格や制限事項が具体的に示されており、開発での採用判断の材料になる。

6月23日火
  1. Mistral AI News62

    Mistral、OCRモデル「Mistral OCR 4」を発表 バウンディングボックスと信頼度スコアに対応

    Mistral AIはOCRモデルMistral OCR 4を公開した。テキストに加え、バウンディングボックス、ブロック種別の分類、インラインの信頼度スコアを返し、10言語グループにわたる170言語に対応する。APIは1,000ページあたり$4で、Batch APIでは50%割引の$2、Document AIは$5である。単一コンテナでセルフホストもでき、企業向けに提供される。

    選定理由:バウンディングボックスや信頼度スコアを返す構造化出力と、ベンチマーク自体の採点上の限界が併記されており、自社文書での検証の考え方をつかみやすい。

6月9日火
  1. Google DeepMind Blog60

    Google DeepMind、エンコーダー不要のマルチモーダルモデルGemma 4 12Bを発表

    Google DeepMindはノートPC向けのマルチモーダルモデルGemma 4 12Bを発表した。画像と音声の入力をエンコーダーなしでLLM本体に直接渡す構成で、16GBのVRAMまたはユニファイドメモリで動作する。Apache 2.0ライセンスで公開され、Hugging FaceとKaggleから重みを入手できる。

    選定理由:画像と音声をエンコーダーなしでLLM本体に直接入力する構成と、16GBで動作するメモリ要件が示されており、ローカル運用の判断材料になる。

6月5日金
  1. Google Research Blog63

    Google Research、スマートフォンのカメラで心拍を受動的に計測するPHRMをNatureで発表

    Google Researchは、顔認証のアンロック直後にフロントカメラで撮影した顔動画から、日常のスマホ利用中に心拍数(HR)と安静時心拍数(RHR)を推定する研究システムPHRMを発表した。論文はNatureに掲載された。HRの誤差はMAPEで10%未満、日次RHRはウェアラブル比でMAE 5 bpm未満である。大規模データセットと学習済みモデル「PHRM-mini」も、資格のある研究者向けに公開する。

    選定理由:顔認証時の短い動画から心拍を推定する手法を、肌の色の多様性に配慮した検証設計と実環境での結果とともに確認できる。