#マルチモーダル
#マルチモーダル
本日3件
Mistral AI@MistralAIAIスコア5353
Mistral AI News注目記事AIスコア6262 Mistral、Mistral Large 4のパブリックプレビューを開始、ウェイトは月末公開予定
Mistralは、総パラメータ1兆、アクティブ520億のネイティブマルチモーダルモデルMistral Large 4(ML4)のパブリックプレビューを開始した。プレビューAPIはMistral Studioで試用でき、ウェイトは今月末に公開予定である。コーディング、エージェント型ワークフロー、マルチモーダル理解で高い性能を示すとしており、Artificial Analysis Cyber Indexでは世界上位5モデルに入るとしている。
選定理由:サイバーセキュリティや金融、法務での評価結果に加え、学習基盤とRLの運用規模まで示されており、オープンウェイト大型モデルの位置づけを比較しやすい。
Google Japan ブログAIスコア5252 Google、Gemini Liveに高齢者向け「シンプルガイド」を順次提供、介護職員向け活用ガイドも公開
Googleは、Gemini アプリの Gemini Live に、カメラや画面の共有でリアルタイムに音声支援を行う新機能「シンプルガイド」の順次提供を開始した。Android 9 以降の端末で利用でき、あわせて介護職員向けの「介護の現場を支える Gemini 活用ガイド」も公開した。
Google AI Blog注目記事AIスコア6060 Google、9月のAI発表をまとめて公開 Gemini 4 Argon、Connected Apps、WeatherNext 3など
Googleは9月のAI関連発表をまとめ、最新のフロンティアモデルGemini 4 Argonを筆頭に挙げた。出力上限は100万トークンで、現在はFairwind Program経由で信頼されたサイバー防御担当者向けに提供している。ほかにGemini 3.8 Flash、Gemini appのConnected Apps、WeatherNext 3、Googlebookの予約受付なども紹介している。
選定理由:Gemini 4 Argonを軸に、音声、連携アプリ、天気予報、ゲノム研究まで9月の発表が一覧で整理されており、全体像をつかみやすい。
Google Blog: Gemini注目記事AIスコア6161 Google、Gemini LiveにAndroid向け「Guided Vision」を追加
Googleは、対応するAndroid端末のGemini Liveで、カメラ映像を音声でリアルタイムに説明する「Guided Vision」の提供を開始した。視覚障害や弱視の人を主な対象とし、周囲の説明や追加質問への回答、カメラの向きを直す音声ガイドに対応する。Android 9以上で、Gemini Liveが使える地域と言語で利用できる。
選定理由:視覚障害者向けにカメラ共有の音声ガイドを提供し、起動方法と利用条件、ナビ用途ではないという制限まで具体的に示している。
SB Intuitions ブログAIスコア3939 LingBot-World Fast、動画ワールドモデルの再訪一貫性に向けた学習不要のメモリポリシーを比較
SB Intuitions Creative Vision Teamが、LingBot-World Fastを対象に、学習なしで推論時に適用できるメモリポリシーを比較した。full attention、ウィンドウ制限、attention sink、明示的検索、camera-aware attention、RELIC着想の圧縮キャッシュを同一モデルで検証した結果、単独の勝者はなく、優劣はカメラの戻り方で変わる。評価にはPSNR、SSIM、LPIPS、DINO similarityを用いた。
Google Blog: GeminiAIスコア4444 Gemini 3.8 Flashで開発者4人が作ったもの
Googleは、Gemini 3.8 Flashを使った開発者4人の作例を紹介した。同モデルは3.7 Flashからソフトウェア開発、エージェント型タスク、多段階推論が大きく向上し、より高コストなフロンティアモデルに迫る性能を示すこともある。ロケット軌道のシミュレーションや自動変速機の対話型モデルなどが作られており、Google AntigravityとGoogle AI Studioで利用できる。
Google Research BlogAIスコア4141 Google Research、GeminiとVeo上で長尺動画の一貫性を自動制御するAIビデオ共同監督フレームワークを発表
Google Researchは、GeminiとVeoの上に構築したマルチエージェント型のAIビデオ共同監督フレームワークを発表した。複数カットにわたる視覚的な一貫性を計画し、キャラクターや環境のずれを抑えながら数分規模の動画生成を目指す。創作方向の選択にはマルチアームドバンディットを用い、Pre-Production、Production、MLLM Judgeの各エージェントが制作を進める。SynthIDによる透かしなどの安全機構も継承するとしている。
Google DeepMind BlogAIスコア5050 Gemini 3.8 Live with Live Avatarを発表
Googleは、ほぼリアルタイムの映像アバターを備えたGemini 3.8 Live with Live Avatarを発表し、Gemini Enterpriseで提供を開始した。リップシンクと表情を伴う音声対話が可能で、97言語をまたいで切り替えられる。対話を止めずにバックグラウンドでツール呼び出しを行えるほか、参照画像からのカスタムアバター作成は現時点でエンタープライズの許可リスト登録者に限られる。
Google Blog: GeminiAIスコア4848 Gemini 3.8 Live、リアルタイム映像アバター「Live Avatar」を発表
Googleは、Gemini 3.8 Liveにリアルタイム映像アバター機能「Live Avatar」を追加した。音声対話と低遅延の映像生成を組み合わせ、口の動きや表情を伴う対話型の仮想担当者を実現する。Live Avatarは現在Gemini Enterpriseで利用可能で、97言語への対応とツール呼び出しの非同期実行をサポートする。カスタムアバターの作成はエンタープライズ向けの許可リスト制で、現時点では限られた企業のみが対象となる。
Google Japan ブログAIスコア5757 Google、音声合成モデルGemini 3.8 Flash TTSとFlash-Lite TTSを発表
GoogleはGemini 3.8 Flash TTSとGemini 3.8 Flash-Lite TTSの2つのテキスト読み上げモデルを発表した。Flash TTSは自然言語プロンプトで100以上の言語や方言の音声をゼロから作成でき、Hume AIのVoice Design Benchmarkで総合1位(71.4)を獲得した。両モデルは本日から順次、Gemini APIとGoogle AI Studioで提供される。
DeepSeek@deepseek_aiAIスコア3434
Hugging Face BlogAIスコア4040 Gradio WorkflowによるAUTOMATIC1111の再構築
Hugging Faceは、AUTOMATIC1111のstable-diffusion-webuiの機能の大半を単一のワークフローキャンバスで再現した「Workflow1111」を紹介した。11本のパイプラインと73個のノードで構成され、text-to-imageやFLUX.1-Kontextによるhi-resolution fix、prompt matrix、PNG Infoなどを含む。利用にはHugging Faceアカウントでのサインインまたはアクセストークンが必要で、モデル呼び出しは利用者自身のクォータを消費する。
Google AI BlogAIスコア3737 AIで70年連れ添った夫婦の記憶を再現 Google DeepMindが短編映画『Love, Rendered』に協力
Google DeepMindは映画制作者と共同で、短編ドキュメンタリー『Love, Rendered』を制作し、結婚70年以上のBurt and Ethelle Shatz夫妻が記録されていない出会いの日をAIで再現した。白黒写真の画像修復とパフォーマンスキャプチャモデルを組み合わせ、現在の夫妻の仕草を若い頃の姿に写し取っている。写真の復元はGeminiアプリでも可能である。
Microsoft AI (MAI) NewsAIスコア5050 Microsoft、MAI-Image-2.6をFoundryで提供開始、高速版MAI-Image-2.6-Flashも追加
Microsoftは画像モデルMAI-Image-2.6をMicrosoft Foundryの開発者向けに提供し、低遅延向けのMAI-Image-2.6-Flashを加えた。MAI-Image-2.6はArenaでtext to imageと画像編集がともにNo. 2、Artificial Analysisではtext-to-imageがNo. 2、画像編集がNo. 1である。Flashは GPT-Image-2-Mediumより2.8倍高速で、効率は72%高いとしている。
SB Intuitions ブログAIスコア3434 SB Intuitions、日本語に強い画像生成基盤モデルSarashina Image 2.6Bを開発
SB Intuitionsは、日本語および英語のプロンプトから高解像度画像を生成する画像生成基盤モデル「Sarashina Image 2.6B」を開発した。26億パラメータのDiffusion Transformer(DiT)を既存モデルのファインチューニングではなくフルスクラッチで訓練し、Text Encoderには自社のSarashina2.2-Vision-3Bを採用している。学習データは自社購入の大規模ストックフォトを中核に、ライセンスや利用規約を遵守したオープンデータセットを組み合わせて構築した。
Google DeepMind Blog注目記事AIスコア6262 Google DeepMind、気象AIモデルWeatherNext 3を発表 衛星データを取り込み毎時予報を生成
Google DeepMindとGoogle Researchは、グローバル気象AIモデルWeatherNext 3を発表した。リアルタイムの衛星データを学習に用い、最大5kmの解像度で毎時予報を生成する。Search、Gemini、Maps、Google Maps Platform、Cloudなどに今日から順次組み込まれ、降水予報は1日以上先で最大50%精度が向上するとしている。
選定理由:衛星データの直接学習や5km解像度など、前世代WeatherNext 2との差分が数値で整理されており、改良点を把握しやすい。
Hugging Face BlogAIスコア4646 NeoMME:効率的なマルチモーダルネイティブ・多言語エンコーダ
Hugging Face、260Mと800Mの2サイズからなる多言語マルチモーダルエンコーダ「NeoMME」を発表。事前学習済みのビジョンタワーを使わず、単一の双方向Transformerでテキストトークンと画像パッチを同時に処理する。
Microsoft Source: AIAIスコア2222 Kier GroupのLouisa Finlay氏、Copilotで建設業の安全性と生産性を高める
英国の建設・インフラ企業Kier Groupは、約11,000人の従業員を抱え、約40%がMicrosoft 365 Copilotを利用している。残りはTeams Premiumを使う。少人数のピアグループで行う「prompt-a-thon」で導入を促し、利用が広がった。現在は安全データの収集・整理などを担うAIエージェントを開発する初期段階にあり、運用方針は「Human at the Helm」である。
Google AI Developers@googleaidevsAIスコア3333
Google DeepMind Blog注目記事AIスコア6060 Google DeepMind、Geminiにエージェント型動画理解を導入、トークン消費を最大88%削減
Google DeepMindは、Gemini 3.7 Flash、3.6 Flash、3.5 Flash-Lite向けにエージェント型動画理解を提供開始した。標準的な動画分析ベンチマークで、コストを最大66%、トークン消費を最大88%削減し、精度は最大7%向上したという。Gemini API(Google AI Studio)とGemini Enterprise Agent Platformで、動画アップロードとYouTube動画に対応し、追加料金はない。
選定理由:固定FPSで動画を読み込む従来方式との違いと、トークン88%減などの数値、有効化の設定方法が一緒に示されており、導入判断の材料になる。
LLM-jp(国立情報学研究所)AIスコア3838 LLM-jp、視覚言語モデル「LLM-jp-4-VL 9B」を公開 llm-jp-4-8b-thinkingをマルチモーダル化
大規模言語モデル研究開発センター(LLMC)は、llm-jp-4-8b-thinkingをマルチモーダル化した視覚言語モデル「LLM-jp-4-VL 9B」を公開した。FineVisionの問題データを削除・修正したデータセット「RefinedVision」も併せて公開し、学習データは約2,930万件である。beta版よりGPQAやCharXiv Reasoningなどで性能が向上した一方、Qwen3.5-9Bとは多くのタスクで差が残る。
Google DeepMind BlogAIスコア5959 Google DeepMind、Gemini Omni 1.1 Flashを発表 シーン延長や4Kアップスケールに対応
Google DeepMindは、開発者向け動画生成モデルGemini Omni 1.1 Flashを発表した。シーン延長、最初と最後のフレーム指定、360pドラフト、1080p/4K出力、動画参照入力に対応する。Google AI StudioのGemini APIやGoogle Flowなどで本日から利用できる。
Google Research BlogAIスコア3232 AgentHands、XRで空間に根ざしたエージェント対話向けの手ジェスチャーを生成
Googleは、XR上でAIエージェントの音声に合わせて手のジェスチャーを生成する研究プロトタイプ「AgentHands」を発表した。CHI 2026で発表された研究で、LLMの応答に埋め込まれたジェスチャーイベントを、単語単位のタイムスタンプを使って音声と同期させる。12名を対象とした被験者内実験では、音声のみのベースラインと比べて空間的なグラウンディングが有意に向上したと報告されている。
SB Intuitions ブログAIスコア3434 SB Intuitions、リアルタイム対話キャラクター向けストリーミング音声駆動動画生成を紹介
SB Intuitionsは、ストリーミング音声を入力に対話キャラクターの動画応答を生成する、音声駆動動画生成のエンドツーエンド試作を紹介した。ベースにはLTX 2.3を用い、Self-Forcingを改良したODE初期化とDMD蒸留の2段階でポストトレーニングして自己回帰モデルを得ている。推論では参照画像と最初の動画チャンクのトークンをアテンションシンクとして保持する。
Google DeepMind Blog注目記事AIスコア6161 Google DeepMind、手話からテキストへの翻訳モデルSL2Tを発表 Pixel 11のGboardなどに搭載
Google DeepMindは、50以上の手話を学習した手話からテキストへの翻訳モデルSL2Tを発表した。Pixel 11のGboardとLive Transcribeで、ASLから英語へのサインtoテキスト入力に対応する。FLEURS-ASL(sd-test)でゼロショット70 BLEURTを記録し、従来の報告値を大きく上回ると説明している。
選定理由:手話をポーズ座標だけで翻訳する設計や、100,000時間超の学習データ、既知の誤りの例まで具体的に示されており、手話AIの現状を把握しやすい。
Google Research BlogAIスコア5353 Google Research、リアルタイム映像診療に対応したAMIE (Video)を発表
Google Researchは、GeminiとProject Astraを基盤に、リアルタイムの映像診察を行う研究用AIシステムAMIE (Video)を公開した。100シナリオ、300件の模擬診療を対象にした無作為化研究で、中核的な臨床能力は一次診療医(PCP)と同等と評価された。ただし評価は模擬患者を使った環境に限られ、実患者での検証が次の課題とされている。
Microsoft AI (MAI) NewsAIスコア4848 MAI-Image-2.6、Arenaのtext-to-imageで2位。Google・Meta・xAIのモデルを上回る
MicrosoftはMAI-Image-2.6を発表し、Arenaのtext-to-imageリーダーボードで2位となった。MAI-Image-2.5からは総合で+79 Elo、テキスト描画では+91 Eloの向上で、全カテゴリーで改善した。Arenaで利用可能で、MAI Playgroundには今週後半に追加され、Microsoft Foundryなどにも順次展開される予定である。
Hugging Face Blog注目記事AIスコア7272 Meta、ローカル向けエージェント対応のマルチモーダルモデルMuse Glimmerを公開、Apache 2.0で提供
MetaがMuseから30Bパラメータに蒸留したマルチモーダルモデルMuse Glimmerを、Apache 2.0ライセンスで公開した。ローカルでのエージェント用途を想定し、transformers、llama.cpp、vLLM、Inference Endpointsがday-0で対応する。Hugging Face Hubから入手できる。
選定理由:30Bのローカル向けモデルについて、アーキテクチャと各推論基盤での使い方、ファインチューニングの要件が一続きで整理されている。
Microsoft Source: AIAIスコア5353 Microsoft ResearchとPaige、病理基盤モデルPRISM2を開発しNature Medicineで発表
Microsoft ResearchとPaige(現Tempusの傘下)は、組織画像と病理報告書由来の言語で学習した病理基盤モデルPRISM2を開発し、Nature Medicineに発表した。前立腺がん、乳がん、乳房リンパ節転移の検出など複数のベンチマークで、専用のがん検出システムに並ぶか上回る性能を示した。モデルの重みは研究用途向けにHugging Faceで公開されている。
Mistral AI NewsAIスコア4646 Mistral AI、オープンウェイトの安全性分類モデル「Shieldstral」を発表
Mistral AIは、テキストと画像の安全性を評価する3Bのオープンウェイト・マルチモーダル安全性分類モデル「Shieldstral」を、Apache 2.0ライセンスで公開した。ポリシーは推論時に平易な言葉で指定でき、再学習なしで用途に合わせて調整できる。テキスト安全性ではサイズが最大7倍のオープンガードモデルに匹敵し、単一の16GB NVIDIA GPUで動作する。
Interconnects (Nathan Lambert)AIスコア4848 オープンモデルの最新動向をまとめた「Artifacts #23」、Laguna S2.1・Inkling・Kimi K3など
オープンモデルの最新動向をまとめた「Artifacts #23」では、Thinking MachinesのInkling(975B-A41B MoE)やKimi K3などを取り上げる。Tencentは、Hy3(295B-A21B MoE)のライセンスをApache 2に変更した。Kimi K3は非商用ライセンスで、推論・ファインチューニング事業者には商用契約が求められる。
Google DeepMind BlogAIスコア5454 Google DeepMind、ロボット向け推論モデルGemini Robotics ER 2を公開
Google DeepMindはロボット向けの「身体性推論」モデルGemini Robotics ER 2を公開した。動画理解、タスクのオーケストレーション、マルチロボット連携に対応し、ER 1.6から強化されている。Gemini API、Google AI Studioで開発者に提供され、Gemini Enterprise Agent Platformではプライベートプレビューとなる。
Google DeepMind BlogAIスコア4242 Google、Google Flow Musicで Lyria 3.5を提供開始
Google DeepMindの新しい音楽生成モデル「Lyria 3.5」が、Google Flow Musicで提供開始された。メロディの複雑さと自然さ、歌詞の品質と指示への追従性、ボーカルの表現力と発音が改善されたとしている。テンポと長さをより簡単に制御できる点も加わった。
Google DeepMind Blog注目記事AIスコア6060 Google DeepMind、Gemini Robotics 2を発表 ヒューマノイドの全身制御に対応
Google DeepMindはロボット向けのGemini Robotics 2を発表した。VLAのGemini Robotics 2、推論モデルのGemini Robotics ER 2、オンデバイス向けのGemini Robotics On-Device 2の3モデルで構成し、ヒューマノイドの全身制御や複数ロボットの協調を可能にする。ER 2はGoogle AI Studioで利用でき、VLAとOn-Deviceモデルは早期アクセスパートナー向けに提供される。
選定理由:全身制御、器用な手の操作、複数ロボットの協調を3つのモデルの役割分担で整理しており、提供範囲や適応に必要なデータ量も確認しやすい。
ABEJA Tech BlogAIスコア3333 センサー x LLM でのマルチモーダル化 〜 センサーデータを LLM に入力し異常検知レポート作成させてみた
NAB の公開センサーデータを gemini-3.5-flash に入力して異常検知レポートを作成させ、入力方式ごとの精度を比較する。数値をプロンプトに直接入れる方式では、machine-temp で既知異常区間 4 つのうち 2 つを検出し、誤検知率は 0.06% だった。検出は全体的に疎だが、ambient-temp や network など複数のセンサーでは検出率が 100% となった。
Microsoft Source: AIAIスコア2828 Microsoft、コミュニティ主導のAIデータ作成基盤「Community Library Creator」
Microsoftの研究チームは、障害やアイデンティティなど共通の経験を持つコミュニティが、AI生成画像での描かれ方を自ら定義できる基盤「Community Library Creator」を開発した。各ライブラリは約400枚の実世界の画像と説明文で構成され、生成画像へのコミュニティの評価がフィードバックとして使われる。データはアドボカシー団体が所有し、Hugging Faceなどでの共有可否や利用制限も決められる。
Hugging Face Blog注目記事AIスコア7272 Thinking Machines Lab、画像・音声・テキスト対応のオープンモデルInklingとInkling-Smallを公開
Thinking Machines Labが、画像・テキスト・音声を入力できる約1Tパラメータのオープンモデル Inkling を Hugging Face で公開した。総パラメータ975B、アクティブ41BのMoEで、1Mコンテキストに対応する。276B総・12Bアクティブの Inkling-Small も追加され、Inference Endpoints でワンクリックでデプロイできる。
選定理由:アーキテクチャの内訳、必要VRAM、各推論エンジンでの起動手順、ベンチマーク表が一つにまとまり、導入可否を判断する材料になる。