AISI、2025年度 データ品質SWG 活動報告書を公開
AI セーフティ・インスティテュート（AISI）の事業実証WG傘下のデータ品質SWGが、「2025年度 データ品質SWG 活動報告書」を公開した。ユースケース別の重要な品質特性の整理、データ品質マネジメントチェックリストの作成・検証、官報データを用いたデータ品質レベルとAI出力品質の検証を報告している。策定・改定したガイドブックとチェックリストに加え、検証に使った官報データもPDF形式とHTML形式で公開されている。
#データ・学習
#データ・学習
本日0件AISI Japan: OutputAIスコア2323
Google Research BlogAIスコア3838 ConvApparel、ユーザーシミュレーターのリアリズムギャップの測定と縮小
Google Researchは、LLMベースのユーザーシミュレーターとの差（リアリズムギャップ）を測定するためのデータセット「ConvApparel」を紹介した。衣料品の買い物領域で4,000件以上の人間とAIの多ターン会話（約15,000ターン）を収集し、参加者は「Good」と、意図的に非協力的に振る舞う「Bad」の2種類のエージェントにランダムに振り分けられた。
Google Research BlogAIスコア4040 Google Research、AIベンチマークに必要な評価者数を検証
Google Researchは、AI評価で項目数と項目ごとの評価者数のどちらを優先すべきかを検証した。多数決との一致を見る場合は項目数を増やす方が有効で、意見の幅を捉える場合は評価者数を増やす必要がある。従来の1〜5人という基準は不十分な場合が多く、約1,000件の総アノテーション規模でも適切な配分により再現性の高い結果が得られるとしている。
ELYZA 技術ブログ（Zenn）AIスコア3434 ELYZA、LLMのツール利用能力を高めるAgentic RLを紹介
ELYZA Labは、LLMのツール利用能力を高めるため、法令検索タスクでAgentic RLによる学習を行った。DAPOで学習した結果、Qwen3系ベースモデルから性能が向上し、Qwen3-32Bベースのモデルはin-domain評価でGPT-5.2と肩を並べた。タスクのデータセットは「ELYZA-MuLQ」として公開される。
ELYZA 技術ブログ（Zenn）AIスコア3838 ルーブリックに基づく主観的な判定を取り入れたGRPO学習
ELYZA Labが、主観的な判定が必要なスライド生成タスクで、ルーブリックベースの報酬関数を使ったGRPO学習を検証した。学習対象と報酬計算にVLMを用い、報酬用ノードにvLLMでQwen/Qwen3-VL-235B-A22B-Instructを立てて学習用ノードへの影響を抑えている。5段階評価では甘い採点になる課題があるため、評価観点ごとに点数を付ける方式を採用した。
Turing 技術ブログ（Zenn）AIスコア3131 RACER: 自動運転VLAモデルの学習データセットの構築
TuringのVLAチームが、東京での走行データ100時間以上を対象に運転意図のキャプションを付与したデータセット「RACER」を構築した。意思決定に関わる要素と運転行動の因果関係を明示するChain-of-Causation形式の説明を、4段階のパイプラインで自動生成しており、ステップ1・2ではQwen3-VL-235B-A22B-Instruct、ステップ3ではQwen3-VL-235B-A22B-Thinkingを使用した。1,000件のサンプルデータはHuggingFaceで公開されている。
SB Intuitions ブログAIスコア2222 SB Intuitions、DEIM2026参加報告
SB Intuitionsは2月28日〜3月5日に神戸市で開催されたDEIM2026に初めてゴールドスポンサーとして協賛し、ブース展示と技術報告を行った。口頭・ポスター発表は3件実施され、適応的プロンプト最適化に基づく次発話推薦や、ブラックボックスな検索エンジンに対するクエリ拡張に特化したSLMの強化学習について発表した。
Mistral AI NewsAIスコア3939 Mistral AI、企業の独自知識で学習するAIモデル構築システム「Forge」を発表
Mistral AIは、企業が社内の独自データを基にフロンティア級のAIモデルを構築するシステム「Forge」を発表した。社内ドキュメントやコードベース、構造化データを用いて事前学習、事後学習、強化学習を行え、dense型とMoEの両アーキテクチャに対応する。Mistral Vibeのようなエージェントが、ファインチューニングやハイパーパラメータの探索、評価用の合成データ生成を自律的に行い、ベンチマークの性能低下も監視する。
ABEJA Tech BlogAIスコア4141 ABEJAによるLLMの自律的な調査力を高めるAgentic RLの取り組みと知見
ABEJAは、Qwen3に思考とツール実行を繰り返させてAgentic能力を強化する、SFTと強化学習の取り組みと知見をまとめた。SFTでは、gpt-oss-120bがOpenSearchによるWikipedia検索ツールを使って推論した出力を、正答データへの絞り込みや推論部分の日本語化などで改善して教師データを作成した。強化学習では、Wikipediaを使うマルチホップQAとDeepResearch、e-Gov法令データを使うQAの3タスクをGRPOで学習し、最後にModel Soupで統合した。
ABEJA Tech BlogAIスコア4141 GENIAC3期のLLM開発で使用したロングコンテキスト評価ベンチマーク・データセットを公開
ABEJAは、GENIAC3期の基盤モデル開発で使用したロングコンテキスト処理性能の評価タスク・ベンチマークと、評価を実行できるリポジトリを公開した。評価にはRULER（NIAH、QA）、LongBench v2、MRCR（OpenAI-MRCRの日本語版を含む）を用いた。新たに作成した評価データセットも併せて公開している。
Turing 技術ブログ（Zenn）AIスコア2828 運転動画を検索可能にする 〜Cosmos-Embed1とDatabricksで〜
チューリングは、NVIDIA の映像-テキスト埋め込みモデル Cosmos-Embed1 と Databricks Vector Search を組み合わせ、約54万シーン（約2,000時間分の走行データ）を対象にしたセマンティック検索システムを構築した。映像側の embedding は日次バッチで事前計算し、テキスト側のみ AWS Lambda でリアルタイムに計算する構成とした。
Turing 技術ブログ（Zenn）AIスコア2222 List Objectsに数日かかる世界からの脱却。20TB/日のデータを支えるS3インベントリ活用術
Turingは、S3インベントリを用いたデータ管理基盤を導入し、数億オブジェクト規模のデータセット情報を数日ではなく数秒で取得できるようにした。Databricks上で外部テーブルとDelta Tableの2段階構成とし、日次で更新している。インベントリの実行コストは100万オブジェクトあたりUSD 0.0025と記載されている。
LayerX ニュースAIスコア2222 LayerXのデータエンジニア中山貴博氏、「2026 Snowflake Data Superheroes」に選出
LayerXのバクラク事業部データグループマネージャーである中山貴博氏が、「2026 Snowflake Data Superheroes」に選出された。2026年は全世界で125名（日本で15名）が選ばれている。LayerXは2024年10月からGoogle BigQueryベースのデータ基盤のSnowflakeへの移行を始め、2025年末時点でほぼ完了している。
Turing 技術ブログ（Zenn）AIスコア3333 「画像なし」で挑むVLM学習、Text-Printed Imageによるアプローチ
Turingのインターン研究チームが、テキストを白い画像に印字したText-Printed Image（TPI）を入力に使い、実画像なしでVLMを学習する手法を提案した。実験では、テキストをそのまま使う学習（Text-only）より大きな性能向上を示し、一部のタスクではGT-Image（実画像による学習）に迫る改善も見られた。GPT-4o-miniを用いたSelf-Instructによるデータ拡張（1万サンプル生成）でも、シードデータが少ない場合と完全な場合の両方で性能が向上したと報告されている。
Mistral AI NewsAIスコア4141 Mistral AI、OCRモデル「Mistral OCR 3」を発表
Mistral AIは新OCRモデル「Mistral OCR 3」を発表した。社内ベンチマークでは、フォーム、スキャン文書、複雑な表、手書きの領域においてMistral OCR 2に対し全体で74%の勝率を記録したとする。料金は1,000ページあたり$2で、Batch APIの50%割引を適用すると$1になる。APIのmistral-ocr-2512およびMistral AI StudioのDocument AI Playgroundから利用できる。
SB Intuitions ブログAIスコア3131 『JamC-QA』：日本の文化や風習に特化した質問応答ベンチマークの構築・公開（後編）
SB Intuitionsは、日本の文化や風習に関する知識を問う質問応答ベンチマーク「JamC-QA」を用いて事前学習モデルを評価した。全体スコア（All）の首位はsarashina2-8x70bとsarashina2-70bの0.725で、Llama-3.3-Swallow-70B-v0.4が0.697で続く。評価は4-shotの設定で行われ、LLMが答えた選択肢の文字列が正解と完全一致した問題数の割合でスコアを算出した。
SB Intuitions ブログAIスコア2525 SB Intuitions、日本の文化・風習に特化した質問応答ベンチマーク「JamC-QA」を公開
SB Intuitionsは、日本固有の知識を問う多肢選択式の質問応答ベンチマーク「JamC-QA」を構築し、Hugging Faceで公開した。全2,309問で、文化、風習、風土、地理、日本史、行政、法律、医療の8カテゴリからなる。既存のJCommonsenseQAやJMMLUに比べ難度が高く、利用申請なしで誰でも使える。
SB Intuitions ブログAIスコア4242 SB Intuitions、日本語特化の指示対応テキスト埋め込みモデル「Sarashina-Embedding-v2-1B」を公開
SB Intuitionsは、sarashina2.2-1Bをベースに対照学習で構築したテキスト埋め込みモデル「Sarashina-Embedding-v2-1B」を発表した。クエリに指示文を付与することで、タスクに応じてテキストベクトルを調整できる。
Mistral AI NewsAIスコア2727 Pixtral-12Bのファインチューニングで衛星画像の分類性能を高める方法
Mistralは、Pixtral-12Bを衛星画像でファインチューニングすると、ベースモデルより大きな改善が得られるとしている。評価にはAerial Image Dataset（AID）を用い、8,000件の学習データと2,000件のテストデータに分けた。プロンプトのみでは曖昧なクラスの識別や、存在しないクラス名の出力が課題だった。
ELYZA（note）AIスコア2626 ELYZA、医療特化LLM基盤「ELYZA-LLM-Med」を開発
ELYZAは、医療領域に特化した日本語版LLM基盤「ELYZA-LLM-Med」シリーズを開発した。基盤モデル「ELYZA-Med-Base-1.0-Qwen2.5-72B」は、医師国家試験ベンチマーク「IgakuQA」で国内最高性能を達成したという。
ELYZA 技術ブログ（Zenn）AIスコア4040 [Part1] 日本医療×LLM：ユースケース応用の基盤となる日本語版汎用医療LLMの開発
ELYZAは、オープンモデルの継続事前学習により日本語版汎用医療LLMを開発し、各ユースケースの基盤とした。予備実験では、Llama-3.1-70Bに英語の医学論文（peS2o）と医学・科学系の日本語コーパスを組み合わせた設定が、IgakuQAで最も高い性能を示した。日本語医学論文はそのままでは学習が不安定だったが、LLMでクレンジングすると安定性と性能が改善したという。
ELYZA（note）AIスコア2626 ELYZA、「マイナビAI Pencil」へ生成AI関連技術を提供・共同開発
ELYZAは、マイナビが2025年7月6日から「マイナビ転職」で提供する自己PR草案提案サービス「マイナビAI Pencil」に生成AI関連技術を提供し、共同開発を行った。生成AIと評価AIで作成・評価した高品質な草案約115万件を事前にデータベース化し、ユーザーの入力に応じて引き当てる方式を採用した。これによりユーザーの待ち時間やハルシネーションによる再生成の手間を減らし、企業のランニングコスト削減につなげている。