#マルチモーダル
#マルチモーダル
本日1件
DeepSeek@deepseek_aiAIスコア3434
Hugging Face BlogAIスコア4040 Gradio WorkflowによるAUTOMATIC1111の再構築
Hugging Faceは、AUTOMATIC1111のstable-diffusion-webuiの機能の大半を単一のワークフローキャンバスで再現した「Workflow1111」を紹介した。11本のパイプラインと73個のノードで構成され、text-to-imageやFLUX.1-Kontextによるhi-resolution fix、prompt matrix、PNG Infoなどを含む。利用にはHugging Faceアカウントでのサインインまたはアクセストークンが必要で、モデル呼び出しは利用者自身のクォータを消費する。
Google AI BlogAIスコア3737 AIで70年連れ添った夫婦の記憶を再現 Google DeepMindが短編映画『Love, Rendered』に協力
Google DeepMindは映画制作者と共同で、短編ドキュメンタリー『Love, Rendered』を制作し、結婚70年以上のBurt and Ethelle Shatz夫妻が記録されていない出会いの日をAIで再現した。白黒写真の画像修復とパフォーマンスキャプチャモデルを組み合わせ、現在の夫妻の仕草を若い頃の姿に写し取っている。写真の復元はGeminiアプリでも可能である。
Microsoft AI (MAI) NewsAIスコア5050 Microsoft、MAI-Image-2.6をFoundryで提供開始、高速版MAI-Image-2.6-Flashも追加
Microsoftは画像モデルMAI-Image-2.6をMicrosoft Foundryの開発者向けに提供し、低遅延向けのMAI-Image-2.6-Flashを加えた。MAI-Image-2.6はArenaでtext to imageと画像編集がともにNo. 2、Artificial Analysisではtext-to-imageがNo. 2、画像編集がNo. 1である。Flashは GPT-Image-2-Mediumより2.8倍高速で、効率は72%高いとしている。
SB Intuitions ブログAIスコア3434 SB Intuitions、日本語に強い画像生成基盤モデルSarashina Image 2.6Bを開発
SB Intuitionsは、日本語および英語のプロンプトから高解像度画像を生成する画像生成基盤モデル「Sarashina Image 2.6B」を開発した。26億パラメータのDiffusion Transformer(DiT)を既存モデルのファインチューニングではなくフルスクラッチで訓練し、Text Encoderには自社のSarashina2.2-Vision-3Bを採用している。学習データは自社購入の大規模ストックフォトを中核に、ライセンスや利用規約を遵守したオープンデータセットを組み合わせて構築した。
Google DeepMind Blog注目記事AIスコア6262 Google DeepMind、気象AIモデルWeatherNext 3を発表 衛星データを取り込み毎時予報を生成
Google DeepMindとGoogle Researchは、グローバル気象AIモデルWeatherNext 3を発表した。リアルタイムの衛星データを学習に用い、最大5kmの解像度で毎時予報を生成する。Search、Gemini、Maps、Google Maps Platform、Cloudなどに今日から順次組み込まれ、降水予報は1日以上先で最大50%精度が向上するとしている。
選定理由:衛星データの直接学習や5km解像度など、前世代WeatherNext 2との差分が数値で整理されており、改良点を把握しやすい。
Hugging Face BlogAIスコア4646 NeoMME:効率的なマルチモーダルネイティブ・多言語エンコーダ
Hugging Face、260Mと800Mの2サイズからなる多言語マルチモーダルエンコーダ「NeoMME」を発表。事前学習済みのビジョンタワーを使わず、単一の双方向Transformerでテキストトークンと画像パッチを同時に処理する。
Microsoft Source: AIAIスコア2222 Kier GroupのLouisa Finlay氏、Copilotで建設業の安全性と生産性を高める
英国の建設・インフラ企業Kier Groupは、約11,000人の従業員を抱え、約40%がMicrosoft 365 Copilotを利用している。残りはTeams Premiumを使う。少人数のピアグループで行う「prompt-a-thon」で導入を促し、利用が広がった。現在は安全データの収集・整理などを担うAIエージェントを開発する初期段階にあり、運用方針は「Human at the Helm」である。
Google AI Developers@googleaidevsAIスコア3333
Google DeepMind Blog注目記事AIスコア6060 Google DeepMind、Geminiにエージェント型動画理解を導入、トークン消費を最大88%削減
Google DeepMindは、Gemini 3.7 Flash、3.6 Flash、3.5 Flash-Lite向けにエージェント型動画理解を提供開始した。標準的な動画分析ベンチマークで、コストを最大66%、トークン消費を最大88%削減し、精度は最大7%向上したという。Gemini API(Google AI Studio)とGemini Enterprise Agent Platformで、動画アップロードとYouTube動画に対応し、追加料金はない。
選定理由:固定FPSで動画を読み込む従来方式との違いと、トークン88%減などの数値、有効化の設定方法が一緒に示されており、導入判断の材料になる。
LLM-jp(国立情報学研究所)AIスコア3838 LLM-jp、視覚言語モデル「LLM-jp-4-VL 9B」を公開 llm-jp-4-8b-thinkingをマルチモーダル化
大規模言語モデル研究開発センター(LLMC)は、llm-jp-4-8b-thinkingをマルチモーダル化した視覚言語モデル「LLM-jp-4-VL 9B」を公開した。FineVisionの問題データを削除・修正したデータセット「RefinedVision」も併せて公開し、学習データは約2,930万件である。beta版よりGPQAやCharXiv Reasoningなどで性能が向上した一方、Qwen3.5-9Bとは多くのタスクで差が残る。
Google DeepMind BlogAIスコア5959 Google DeepMind、Gemini Omni 1.1 Flashを発表 シーン延長や4Kアップスケールに対応
Google DeepMindは、開発者向け動画生成モデルGemini Omni 1.1 Flashを発表した。シーン延長、最初と最後のフレーム指定、360pドラフト、1080p/4K出力、動画参照入力に対応する。Google AI StudioのGemini APIやGoogle Flowなどで本日から利用できる。
Google Research BlogAIスコア3232 AgentHands、XRで空間に根ざしたエージェント対話向けの手ジェスチャーを生成
Googleは、XR上でAIエージェントの音声に合わせて手のジェスチャーを生成する研究プロトタイプ「AgentHands」を発表した。CHI 2026で発表された研究で、LLMの応答に埋め込まれたジェスチャーイベントを、単語単位のタイムスタンプを使って音声と同期させる。12名を対象とした被験者内実験では、音声のみのベースラインと比べて空間的なグラウンディングが有意に向上したと報告されている。
SB Intuitions ブログAIスコア3434 SB Intuitions、リアルタイム対話キャラクター向けストリーミング音声駆動動画生成を紹介
SB Intuitionsは、ストリーミング音声を入力に対話キャラクターの動画応答を生成する、音声駆動動画生成のエンドツーエンド試作を紹介した。ベースにはLTX 2.3を用い、Self-Forcingを改良したODE初期化とDMD蒸留の2段階でポストトレーニングして自己回帰モデルを得ている。推論では参照画像と最初の動画チャンクのトークンをアテンションシンクとして保持する。
Google DeepMind Blog注目記事AIスコア6161 Google DeepMind、手話からテキストへの翻訳モデルSL2Tを発表 Pixel 11のGboardなどに搭載
Google DeepMindは、50以上の手話を学習した手話からテキストへの翻訳モデルSL2Tを発表した。Pixel 11のGboardとLive Transcribeで、ASLから英語へのサインtoテキスト入力に対応する。FLEURS-ASL(sd-test)でゼロショット70 BLEURTを記録し、従来の報告値を大きく上回ると説明している。
選定理由:手話をポーズ座標だけで翻訳する設計や、100,000時間超の学習データ、既知の誤りの例まで具体的に示されており、手話AIの現状を把握しやすい。
Google Research BlogAIスコア5353 Google Research、リアルタイム映像診療に対応したAMIE (Video)を発表
Google Researchは、GeminiとProject Astraを基盤に、リアルタイムの映像診察を行う研究用AIシステムAMIE (Video)を公開した。100シナリオ、300件の模擬診療を対象にした無作為化研究で、中核的な臨床能力は一次診療医(PCP)と同等と評価された。ただし評価は模擬患者を使った環境に限られ、実患者での検証が次の課題とされている。
Microsoft AI (MAI) NewsAIスコア4848 MAI-Image-2.6、Arenaのtext-to-imageで2位。Google・Meta・xAIのモデルを上回る
MicrosoftはMAI-Image-2.6を発表し、Arenaのtext-to-imageリーダーボードで2位となった。MAI-Image-2.5からは総合で+79 Elo、テキスト描画では+91 Eloの向上で、全カテゴリーで改善した。Arenaで利用可能で、MAI Playgroundには今週後半に追加され、Microsoft Foundryなどにも順次展開される予定である。
Hugging Face Blog注目記事AIスコア7272 Meta、ローカル向けエージェント対応のマルチモーダルモデルMuse Glimmerを公開、Apache 2.0で提供
MetaがMuseから30Bパラメータに蒸留したマルチモーダルモデルMuse Glimmerを、Apache 2.0ライセンスで公開した。ローカルでのエージェント用途を想定し、transformers、llama.cpp、vLLM、Inference Endpointsがday-0で対応する。Hugging Face Hubから入手できる。
選定理由:30Bのローカル向けモデルについて、アーキテクチャと各推論基盤での使い方、ファインチューニングの要件が一続きで整理されている。
Microsoft Source: AIAIスコア5353 Microsoft ResearchとPaige、病理基盤モデルPRISM2を開発しNature Medicineで発表
Microsoft ResearchとPaige(現Tempusの傘下)は、組織画像と病理報告書由来の言語で学習した病理基盤モデルPRISM2を開発し、Nature Medicineに発表した。前立腺がん、乳がん、乳房リンパ節転移の検出など複数のベンチマークで、専用のがん検出システムに並ぶか上回る性能を示した。モデルの重みは研究用途向けにHugging Faceで公開されている。
Mistral AI NewsAIスコア4646 Mistral AI、オープンウェイトの安全性分類モデル「Shieldstral」を発表
Mistral AIは、テキストと画像の安全性を評価する3Bのオープンウェイト・マルチモーダル安全性分類モデル「Shieldstral」を、Apache 2.0ライセンスで公開した。ポリシーは推論時に平易な言葉で指定でき、再学習なしで用途に合わせて調整できる。テキスト安全性ではサイズが最大7倍のオープンガードモデルに匹敵し、単一の16GB NVIDIA GPUで動作する。
Google DeepMind BlogAIスコア5454 Google DeepMind、ロボット向け推論モデルGemini Robotics ER 2を公開
Google DeepMindはロボット向けの「身体性推論」モデルGemini Robotics ER 2を公開した。動画理解、タスクのオーケストレーション、マルチロボット連携に対応し、ER 1.6から強化されている。Gemini API、Google AI Studioで開発者に提供され、Gemini Enterprise Agent Platformではプライベートプレビューとなる。
Google DeepMind BlogAIスコア4242 Google、Google Flow Musicで Lyria 3.5を提供開始
Google DeepMindの新しい音楽生成モデル「Lyria 3.5」が、Google Flow Musicで提供開始された。メロディの複雑さと自然さ、歌詞の品質と指示への追従性、ボーカルの表現力と発音が改善されたとしている。テンポと長さをより簡単に制御できる点も加わった。
Google DeepMind Blog注目記事AIスコア6060 Google DeepMind、Gemini Robotics 2を発表 ヒューマノイドの全身制御に対応
Google DeepMindはロボット向けのGemini Robotics 2を発表した。VLAのGemini Robotics 2、推論モデルのGemini Robotics ER 2、オンデバイス向けのGemini Robotics On-Device 2の3モデルで構成し、ヒューマノイドの全身制御や複数ロボットの協調を可能にする。ER 2はGoogle AI Studioで利用でき、VLAとOn-Deviceモデルは早期アクセスパートナー向けに提供される。
選定理由:全身制御、器用な手の操作、複数ロボットの協調を3つのモデルの役割分担で整理しており、提供範囲や適応に必要なデータ量も確認しやすい。
ABEJA Tech BlogAIスコア3333 センサー x LLM でのマルチモーダル化 〜 センサーデータを LLM に入力し異常検知レポート作成させてみた
NAB の公開センサーデータを gemini-3.5-flash に入力して異常検知レポートを作成させ、入力方式ごとの精度を比較する。数値をプロンプトに直接入れる方式では、machine-temp で既知異常区間 4 つのうち 2 つを検出し、誤検知率は 0.06% だった。検出は全体的に疎だが、ambient-temp や network など複数のセンサーでは検出率が 100% となった。
Microsoft Source: AIAIスコア2828 Microsoft、コミュニティ主導のAIデータ作成基盤「Community Library Creator」
Microsoftの研究チームは、障害やアイデンティティなど共通の経験を持つコミュニティが、AI生成画像での描かれ方を自ら定義できる基盤「Community Library Creator」を開発した。各ライブラリは約400枚の実世界の画像と説明文で構成され、生成画像へのコミュニティの評価がフィードバックとして使われる。データはアドボカシー団体が所有し、Hugging Faceなどでの共有可否や利用制限も決められる。
Hugging Face Blog注目記事AIスコア7272 Thinking Machines Lab、画像・音声・テキスト対応のオープンモデルInklingとInkling-Smallを公開
Thinking Machines Labが、画像・テキスト・音声を入力できる約1Tパラメータのオープンモデル Inkling を Hugging Face で公開した。総パラメータ975B、アクティブ41BのMoEで、1Mコンテキストに対応する。276B総・12Bアクティブの Inkling-Small も追加され、Inference Endpoints でワンクリックでデプロイできる。
選定理由:アーキテクチャの内訳、必要VRAM、各推論エンジンでの起動手順、ベンチマーク表が一つにまとまり、導入可否を判断する材料になる。
Google DeepMind Blog注目記事AIスコア6565 Google DeepMind、Nano Banana 2 LiteとGemini Omni Flashを開発者向けに提供開始
Google DeepMindは、最速かつ低コストの画像モデルNano Banana 2 Liteと、動画生成・対話型編集モデルGemini Omni Flashを開発者向けに提供開始した。Nano Banana 2 Liteは1K画像あたり$0.034、text-to-imageの出力は4秒で、Omni Flashは動画出力1秒あたり$0.10である。どちらもGoogle AI Studioとgemini APIから利用できる。
選定理由:画像生成と動画生成の2モデルを連結する使い方と、価格や制限事項が具体的に示されており、開発での採用判断の材料になる。
Mistral AI News注目記事AIスコア6262 Mistral、OCRモデル「Mistral OCR 4」を発表 バウンディングボックスと信頼度スコアに対応
Mistral AIはOCRモデルMistral OCR 4を公開した。テキストに加え、バウンディングボックス、ブロック種別の分類、インラインの信頼度スコアを返し、10言語グループにわたる170言語に対応する。APIは1,000ページあたり$4で、Batch APIでは50%割引の$2、Document AIは$5である。単一コンテナでセルフホストもでき、企業向けに提供される。
選定理由:バウンディングボックスや信頼度スコアを返す構造化出力と、ベンチマーク自体の採点上の限界が併記されており、自社文書での検証の考え方をつかみやすい。
SB Intuitions ブログAIスコア3030 Sarashina2.2-OCRデモアプリケーション、JSAI2026で展示
SB Intuitionsは2026年6月の第40回人工知能学会全国大会(JSAI2026)で、OCRモデル「Sarashina2.2-OCR」を用いたデモアプリケーションを展示した。30億パラメータの日英対応OCRモデルで、縦書き・表・数式を含む文書をMarkdownに再構成する。VJRODaではCER 22.6、BLEU 79.9を記録し、dots.ocr(CER 40.1、BLEU 71.5)を上回った。
Google DeepMind Blog注目記事AIスコア6060 Google DeepMind、エンコーダー不要のマルチモーダルモデルGemma 4 12Bを発表
Google DeepMindはノートPC向けのマルチモーダルモデルGemma 4 12Bを発表した。画像と音声の入力をエンコーダーなしでLLM本体に直接渡す構成で、16GBのVRAMまたはユニファイドメモリで動作する。Apache 2.0ライセンスで公開され、Hugging FaceとKaggleから重みを入手できる。
選定理由:画像と音声をエンコーダーなしでLLM本体に直接入力する構成と、16GBで動作するメモリ要件が示されており、ローカル運用の判断材料になる。
Google Research Blog注目記事AIスコア6363 Google Research、スマートフォンのカメラで心拍を受動的に計測するPHRMをNatureで発表
Google Researchは、顔認証のアンロック直後にフロントカメラで撮影した顔動画から、日常のスマホ利用中に心拍数(HR)と安静時心拍数(RHR)を推定する研究システムPHRMを発表した。論文はNatureに掲載された。HRの誤差はMAPEで10%未満、日次RHRはウェアラブル比でMAE 5 bpm未満である。大規模データセットと学習済みモデル「PHRM-mini」も、資格のある研究者向けに公開する。
選定理由:顔認証時の短い動画から心拍を推定する手法を、肌の色の多様性に配慮した検証設計と実環境での結果とともに確認できる。
Microsoft AI (MAI) News注目記事AIスコア6060 Microsoft AI、ヘルス分野での価値観の実践を説明 Mayo Clinicとの協業やCopilot Healthに言及
Microsoft AIは、ヘルス分野で自社の価値観を製品設計や提携に反映していると説明した。Mayo Clinicと医療特化のフロンティアAIモデルを共同開発しており、米国ではCopilot Healthのプレビューを開始している。
選定理由:ヘルス分野でMicrosoft AIが価値観をどう設計や提携に落とし込むかを、利用規模やMayo Clinicとの協業を軸に整理している。
Google Research Blog注目記事AIスコア6767 Google Research、I/O 2026で科学・医療・気象・量子など研究成果を総括
Google Researchは、I/O 2026で披露した研究成果を公式ブログで総括した。Gemini for Scienceを発表し、ERAとCo-ScientistはNatureに掲載されたと説明している。医療ではSymptom AIやAMIE、MedGemmaを取り上げ、気象ではWeatherNextやGroundsourceによる洪水予測も紹介している。
選定理由:科学、医療、気象、量子など分野ごとにGoogle Researchの成果と提供状況が整理されており、I/O 2026の研究面の全体像を把握しやすい。
Google DeepMind BlogAIスコア5555 Google DeepMind、Project GenieにStreet View連携を追加、Google AI Ultra加入者へ世界展開
Google DeepMindは、実験的プロトタイプProject GenieにStreet ViewのImagery Groundingによる機能を追加した。Maps上で選んだ米国内の場所を起点に、スタイルやキャラクターを指定して世界を生成できる。対象となる18歳以上のGoogle AI Ultra($200)加入者に向け、世界で順次提供を開始している。
Google DeepMind Blog注目記事AIスコア7474 Google DeepMind、あらゆる入力から動画を生成するGemini Omni Flashを発表
Google DeepMindは、画像・音声・動画・テキストを入力して動画を生成し、会話で編集できる新モデルGemini Omni Flashを発表した。Gemini app、Google Flow、YouTube Shortsで提供を開始し、Google AI Plus、Pro、Ultraの購読者が利用できる。今後数週間で開発者や企業向けにAPIでも展開する予定である。
選定理由:動画の会話編集や参照入力、SynthIDによる透明性対応まで、提供範囲と併せて整理されており、利用可否を判断しやすい。
Google DeepMind BlogAIスコア5252 Google、SynthIDとC2PAによるコンテンツ検証をSearch・Gemini・Chromeなどへ拡大
Googleは、AI生成コンテンツの来歴や編集有無を確認できる透明性・検証ツールをSearch、Gemini、Chrome、Pixel、Cloudへ拡大すると発表した。SynthIDの検証はGeminiアプリに続きSearchで提供を始め、Chromeでも数週間以内に対応する。Google Cloudでは新たにAI Content Detection APIも投入する。
Google Research Blog注目記事AIスコア6060 Google Photos、Auto frameに撮影後の視点を補正する3D対応の写真再構図を追加
Googleは、撮影後に写真のカメラ視点を調整する新手法をGoogle PhotosのAuto frame機能として提供開始した。写真を3Dシーンとして解釈し、見えていなかった部分を生成AIで補う。人物を含む対象写真では、再構図された画像がAuto frameの候補の2番目として選べる。
選定理由:3D推定と生成的補完を分けた二段構成と、Google Photosで使える範囲が具体的に説明されており、写真編集の仕組みを理解しやすい。
カラクリ ニュースAIスコア3030 カラクリ、GENIAC第3期で国産CUAモデル「KARAKURI VL2」を開発 画像編集・メール操作でClaude Sonnet 4.6を上回る
カラクリが、PC操作を自律実行する国産CUA向け視覚言語モデル「KARAKURI VL2」(8Bパラメータ)を開発し、GENIAC第3期の成果として公開した。自社開発の日本語PC操作ベンチマーク「OSWorld-JP v0.2」(100タスク)の総合スコアは0.331で、Claude Sonnet 4.6の0.593には及ばないが、画像編集(GIMP)とメール操作(Thunderbird)の2カテゴリではClaude Sonnet 4.6を上回った。
Microsoft AI (MAI) NewsAIスコア5252 Microsoft AI、MAI-Transcribe-1など3つのMAIモデルをFoundryで提供開始
Microsoft AIは、MAI-Transcribe-1、MAI-Voice-1、MAI-Image-2の3モデルをMicrosoft FoundryとMAI Playgroundで提供開始した。料金はMAI-Transcribe-1が1時間あたり$0.36から、MAI-Voice-1が100万文字あたり$22から、MAI-Image-2がテキスト入力100万トークンあたり$5、画像出力100万トークンあたり$33からである。