本文へスキップ

#マルチモーダル

本日1件
3月27日金
  1. ELYZA 技術ブログ(Zenn)38

    ルーブリックに基づく主観的な判定を取り入れたGRPO学習

    ELYZA Labが、主観的な判定が必要なスライド生成タスクで、ルーブリックベースの報酬関数を使ったGRPO学習を検証した。学習対象と報酬計算にVLMを用い、報酬用ノードにvLLMでQwen/Qwen3-VL-235B-A22B-Instructを立てて学習用ノードへの影響を抑えている。5段階評価では甘い採点になる課題があるため、評価観点ごとに点数を付ける方式を採用した。

3月17日火
  1. Mistral AI News60

    Mistral AI、統合型オープンモデル「Mistral Small 4」を発表

    Mistral AIはMistral Small 4を発表した。Magistralの推論、Pixtralのマルチモーダル、Devstralのエージェント型コーディングを1つのモデルに統合し、Apache 2.0ライセンスで公開している。119B総パラメータのMoEで256kコンテキストウィンドウに対応し、Mistral Small 3と比べてレイテンシ重視設定でエンドツーエンドの完了時間を40%削減、スループット重視設定で毎秒リクエスト数を3倍にした。

    選定理由:推論、マルチモーダル、エージェント型コーディングを1モデルに統合した構成と、出力長を抑えた比較が示されており、モデル選定の軸を整理しやすい。

12月19日金
  1. Turing 技術ブログ(Zenn)33

    「画像なし」で挑むVLM学習、Text-Printed Imageによるアプローチ

    Turingのインターン研究チームが、テキストを白い画像に印字したText-Printed Image(TPI)を入力に使い、実画像なしでVLMを学習する手法を提案した。実験では、テキストをそのまま使う学習(Text-only)より大きな性能向上を示し、一部のタスクではGT-Image(実画像による学習)に迫る改善も見られた。GPT-4o-miniを用いたSelf-Instructによるデータ拡張(1万サンプル生成)でも、シードデータが少ない場合と完全な場合の両方で性能が向上したと報告されている。

12月3日水
  1. Mistral AI News71

    Mistral AI、Mistral 3を発表 Mistral Large 3とMinistral 3を Apache 2.0 で公開

    Mistral AIは次世代モデルMistral 3を発表した。14B・8B・3Bの小型denseモデルと、アクティブ41B・総計675BパラメータのMoEであるMistral Large 3で構成し、全モデルを Apache 2.0 ライセンスで公開する。Mistral Large 3はLMArenaでOSS非推論モデル部門2位、Ministral 3 14Bの推論版はAIME '25で85%を記録した。

    選定理由:3B・8B・14Bの小型モデルと675B規模のMoEを同じ Apache 2.0 で公開しており、用途別の選択肢と配布先を比較しやすい。

11月25日火
8月1日金
  1. Mistral AI News27

    Pixtral-12Bのファインチューニングで衛星画像の分類性能を高める方法

    Mistralは、Pixtral-12Bを衛星画像でファインチューニングすると、ベースモデルより大きな改善が得られるとしている。評価にはAerial Image Dataset(AID)を用い、8,000件の学習データと2,000件のテストデータに分けた。プロンプトのみでは曖昧なクラスの識別や、存在しないクラス名の出力が課題だった。

5月7日水
  1. Mistral AI News54

    Mistral AI、エンタープライズ向けモデルMistral Medium 3を発表

    Mistral AIはMistral Medium 3を発表した。Claude Sonnet 3.7の90%以上の性能を、入力$0.4・出力$2(100万トークンあたり)の低コストで実現するとしている。APIはMistral La PlateformeとAmazon Sagemakerで提供中で、ハイブリッドやオンプレミス、in-VPCでの展開にも対応する。

3月28日金
  1. AISI Japan: Output23

    AIセーフティ・インスティテュート、「AIセーフティに関する評価観点ガイド」第1.10版を公開

    AIセーフティ・インスティテュート(J-AISI)は、「AIセーフティに関する評価観点ガイド」の改訂版となる第1.10版を公開した。画像解析などAIの活用範囲の広がりをふまえ、マルチモーダル基盤モデルを評価対象とする場合の評価観点と評価項目例を調査して反映した。

3月17日月
  1. Mistral AI News57

    Mistral、Mistral Small 3.1を発表 Apache 2.0で公開、コンテキストは最大128k

    Mistral AIは、テキスト性能とマルチモーダル理解を改善し、コンテキストウィンドウを最大128k トークンに拡張したMistral Small 3.1を発表した。Apache 2.0ライセンスで公開され、Gemma 3やGPT-4o Miniを上回り、推論速度は150 トークン/秒としている。Hugging Faceからベースモデルとインストラクトモデルをダウンロードできる。