Mistral AIは、LLM as a Judge方式でRAGシステムを評価する方法を解説し、評価枠組みとしてRAG Triad（Context Relevance、Groundedness、Answer Relevance）を挙げている。RAG Triadは検索された文書と回答の両方を評価でき、検索と生成の双方を端から端まで評価するのに役立つとされる。同社APIのカスタム structured outputs を使えば、評価基準とスキーマを定義し、機械可読な形式でスコアを出力できる。
SB Intuitionsの研究者がCOLING 2025（1月19〜24日、アブダビ）に参加し、発表と注目論文を報告した。投稿2,723本のうち760本が採択され、Direct submissionsの採択率は約20%だった。自社発表はペルソナ対話の手法で、ペルソナをシャッフルして生成した応答を擬似負例とする選好チューニングにより、外部データなしで日英両言語のペルソナ一貫性を向上させたとしている。
データ品質マネジメントガイドブックのVer.1.0が公開された。AIの信頼確保とデータ駆動型社会の実現に向け、データとAIの価値を最大化するために必要なデータ品質を持続的に確保する方策を整理したものである。2/7に公開したドラフト版を更新した版で、正式版は英語版、日本語版はサマリとなる。
AIセーフティ・インスティテュート（J-AISI）は、2024年9月公開の「AIセーフティに関するレッドチーミング手法ガイド」の改訂版となる第1.10版を公開した。RAG（Retrieval-Augmented Generation）の仕組みを実装したAIシステムに対してレッドチーミングを実施し、手順を詳細に解説するとともに、成果物を文書としてまとめた。具体的な実施例を通じて、ガイドの内容をより詳しく理解できる構成になっている。
AIセーフティ・インスティテュート(J-AISI)は、「AIセーフティに関する評価観点ガイド」の改訂版となる第1.10版を公開した。画像解析などAIの活用範囲の広がりをふまえ、マルチモーダル基盤モデルを評価対象とする場合の評価観点と評価項目例を調査して反映した。
総務省と経済産業省は、AI事業者ガイドラインの1.1版を公表した。AIガバナンスの継続的な改善に向け、アジャイル・ガバナンスの思想を参考に、両省の検討会がLiving Documentとして更新内容を取りまとめた。AISIは経済産業省と共同事務局として、AI事業者ガイドライン検討会の開催を担当した。
AIセーフティインスティチュート（AISI）は、「AIセーフティに関する評価観点ガイド」と「AIセーフティに関するレッドチーミング手法ガイド」の概要を簡潔にまとめたアプローチブックを作成した。両ガイドを初めて参照する人が要点を把握できるよう、リーフレットとパワーポイントの形式で提供される。
SB Intuitionsは、LLMの過度な拒否と安全性の両方を測定できる日本語データセット「日本語安全性境界テスト」を構築した。12のリスクカテゴリと5種のプロンプトタイプで安全な入力と安全でない入力を作成し、採点形式で評価する。同程度のパラメータサイズのInstructモデルと比べ、sarashina2.2-3B-instruct-v0.1のスコアは大きく上回ったという。
Mistral AIは、テキスト性能とマルチモーダル理解を改善し、コンテキストウィンドウを最大128k トークンに拡張したMistral Small 3.1を発表した。Apache 2.0ライセンスで公開され、Gemma 3やGPT-4o Miniを上回り、推論速度は150 トークン/秒としている。Hugging Faceからベースモデルとインストラクトモデルをダウンロードできる。
AISI Japanが、AIの価値を最大化するために必要なデータ品質を持続的に確保する方策を整理した「データ品質マネジメントガイドブック」のドラフト版を公開した。本ガイドの英語版が正式版で、日本語翻訳版は後日公開される予定である。3月末のVer.1.0に向けて意見を募集しているが、個別の回答は予定されていない。
J-AISIは、AIセーフティに関する活動マップ「AMAIS: Activity Map on AI Safety」をディスカッションペーパーとして公表した。問い合わせ先はaisi-amais-info[at]ipa[dot]go[dot]jpである。
AIセーフティインスティチュート（J-AISI）は、2024年2月14日の設立以降の活動をまとめた「National Status Report on AI Safety in Japan 2024」（AIセーフティ年次レポート2024）を公表した。関連資料を補完する参考資料として「Fact Sheet of AI Safety in Japan 2024」（AIセーフティ ファクトシート2024）も取りまとめた。あわせて、急速に進展するAIに対応するため、国内外の関係機関や企業等との連携を含む今後の取り組みと狙いを記載している。
ELYZAは、LLMを用いたコンタクトセンターの高度化支援に本格参入し、コンタクトセンター向けLLMプロダクトの概要を公表した。同社がこれまでコンタクトセンター領域で蓄積した知見と技術を盛り込み、業務利用で効果が出たユースケースを厳選して、各企業のコンタクトセンターで利用可能な製品として提供する予定である。オペレーションの高度化を通じてCX（顧客体験）強化を目指す。提供の詳細は順次公表するとしている。
JR西日本カスタマーリレーションズとELYZAが、生成AIを活用した「VoC分析パッケージ」を開発し、実運用を開始した。パッケージは均質化された要約データを生成する要約AI、タグ・カテゴリー付与を行う処理プログラムAI、ダッシュボードで構成され、全件データに対して一律の基準で集計できる。週報作成は導入前の毎回約2時間から、30分程度に短縮された。
ELYZAのMLEとして顧客との共同開発プロジェクトに関わる小栗怜さんが、技術を磨き続ける理由を語った。日系大手メーカーで社内システム開発に従事しながら独学で機械学習を学び、1,000時間の勉強を自ら決めた。ELYZAではプロンプトチューニング、評価用データセットの作成、ファインチューニングなどの顧客課題に取り組んでいる。
ELYZAのMLE大葉大輔さんは、東京大学で自然言語処理を研究した後にELYZAへ参画し、大規模言語モデル（LLM）の研究開発を担当している。入社の決め手は、ChatGPT登場以前からNLPに投資し、Post-trainingに先んじて注力していた点だったという。入社直後にはABCIプロジェクトやGENIACに参加し、少人数のチームでほぼ全工程に関わったと語る。
AIセーフティに関するレッドチーミング手法ガイドの1.0.0版が公表された。AIを取り巻く環境の変化が激しいことから、今後適宜修正し改訂していく方針である。日本語と英語の概要版も関連文書として公開されている。
日本の「AI事業者ガイドライン」と米国NIST「AIリスクマネジメントフレームワーク（RMF）」の主要なコンセプトを比較したクロスウォークの第2弾である。用語に関する第1弾に続く内容で、特定の論点について日米を対比でき、両者の強調点の違いを把握する補助ツールとして利用できる。
AIセーフティに関する評価の観点をまとめた「評価観点ガイド」の1.0.0版が公表された。主な読者はAI開発者・AI提供者で、特に「開発・提供管理者」および「事業執行責任者」を想定している。AIを取り巻く環境の変化を踏まえ、今後も適宜修正・改訂していく方針である。
AIセーフティ・インスティテュート（AISI）が、米国NISTのAI RMF 1.0（NIST AI 100-1）とAI RMF Playbookの日本語翻訳版を公開した。翻訳はNISTから事前の承諾を得て作成されたもので、完全性や正確性は保証されていない。原文の内容を正確に確認する必要がある場合は、NISTのウェブサイトの原文書を参照するよう案内されている。
AISIと米国NISTが、AI事業者ガイドラインとNIST AI RMFの間で、AI RMFパート1の用語に関するクロスウォーク1を実施した。クロスウォークは、法令や基準、フレームワークなどの条項をサブカテゴリーにマッピングする作業で、組織が活動や成果の優先順位をつけて遵守を進めるのに役立つとされる。今回は日米のクロスウォークの第一弾に位置づけられ、成果文書が関連文書として掲載されている。