JMT-Safety、日本語マルチターン安全性評価ベンチマークを公開

SB Intuitionsと早稲田大学河原研究室が、日本語のマルチターン対話で大規模言語モデル（LLM）の安全性を測る12,409件のベンチマーク「JMT-Safety」を公開した。AnswerCarefullyを元に8種類の攻撃手法で拡張している。主要23モデルを評価した結果、すべてでマルチターンの有害率がシングルターンより上昇し、最大で約3.9倍に達した。ベンチマークデータと評価スクリプトも公開されている。

Kimi.ai@Kimi_MoonshotAIスコア3636

Kimi（Moonshot AI）は、視覚知覚を原子的な能力に分解して評価するベンチマーク「PerceptionBench」を公開した。42のベンチマークにおけるフロンティアモデルの失敗事例から10の原子的な知覚能力を導き出し、推論や外部知識を必要とせず、見るだけで答えられる3,000問の検証済み質問を構築した。ブログ、GitHub、Hugging Faceで公開されている。

Kimi K3のサイバー能力をUK AISIとCAISIが評価、Anthropicは Claude Opus 5のSystem Cardを公開

UK AISIとU.S. CAISIは、Moonshot AIのKimi K3のサイバー能力を共同評価し、最新のフロンティアモデルを大幅に下回るが、オープンウェイトモデルGLM-5.2は上回ると報告した。模擬企業ネットワーク「The Last Ones」への攻撃では、Kimi K3が32段階中平均17段階まで到達したのに対し、米国のフロンティアモデル群は平均28.5段階まで到達した。

DharmaOCR、ブラジルポルトガル語OCRのベンチマークでMistral OCR4とUnlimited-OCRを上回る

DharmaOCRは、ポルトガル語に特化したベンチマークでスコア0.925を記録し、Mistral OCR4（0.798）とUnlimited-OCR（0.7587）を上回った。記事は、この差を新しいモデルにも通じる特化学習の利点によるものだとしている。学習はブラジルポルトガル語の文書を用いた教師ありファインチューニングとDirect Preference Optimization（DPO）の2段階で行われ、DPOは出力の安定性を高めたとされる。

Real World VoiceEQ、音声AIの人間らしさを測るベンチマークを公開

Real World VoiceEQは、音声AIの人間らしさを測るベンチマークである。40以上のモデルを15以上の評価軸、60以上の指標で評価し、100万件超の人間による評価に基づく。TTSでは8つの能力群すべてで上位5位に入った構成はなかった。

Sarashina3 translate、日英・英日翻訳でGoogle翻訳を上回る評価

SB Intuitionsは、日英・英日翻訳に特化した大規模言語モデル「Sarashina3 translate」を発表した。LLMによるペアワイズ評価では、Google翻訳とplamo-2-translateの両方に対して勝ち越した。人手評価では英日翻訳で236対213と Google を上回った一方、日英翻訳では199対214で惜敗した。

Mistral AI、Lean 4向け形式検証モデル「Leanstral 1.5」を公開

Mistral AIは、Lean 4での形式検証に対応したApache-2.0ライセンスのモデル「Leanstral 1.5」を公開した。総パラメータ119B、アクティブパラメータ6Bで、miniF2Fを飽和させ、PutnamBenchでは672問中587問を解いた。FATE-Hで87%、FATE-Xで34%と新たなstate-of-the-artを達成し、Hugging Faceと無料APIで利用できる。

Sarashina3 mini / Sarashina3 nano：フルスクラッチで開発した最新の国産LLM

SB Intuitionsは、フルスクラッチで開発した国産LLM「Sarashina3 mini」とその軽量版「Sarashina3 nano」を公開し、商用APIとして提供を開始した。事前学習には日本語・英語を中心とした30Tトークンのデータを用い、数学（AIME 2025）やエージェント（τ2-bench Telecom）などで前世代のSarashina2 miniから大幅な性能向上を達成したという。

SB Intuitions、日本語エージェントベンチマーク「J-tau telecom」を公開

SB Intuitionsは、通信事業のカスタマーサポートを題材にしたエージェントベンチマーク「tau-bench telecom」の日本語版「J-tau telecom」を公開した。評価結果では、多くのモデルで英語版より日本語版のスコアが低く、評価言語によってエージェント能力の測定結果が変わることが示された。J-tau telecomの評価では、GLM-5.2が96.5%、gpt-5.6 Solが93.6%を記録し、ライセンスはModified MITで公開されている。

AISI、生成AIの安全性・セキュリティー評価ベンチマーク「JAI-Trust」の成果共有イベントを開催

AISIは2026年5月21日、生成AIの安全性とセキュリティーを評価するベンチマーク構築プロジェクト「JAI-Trust」のイベントを東京都内の会場とオンラインの併用で開催し、約500名が出席した。分科会発表ではバイアス、AIとの対話によるリスク、偽情報／誤情報、Jailbreak、情報漏洩、エージェントモデル、マルチモーダル、ロボティックスなどの検討状況が共有された。後半のパネルディスカッションでは、リスク管理の重要性と評価基準の標準化の必要性が議論された。

Google DeepMindのCo-Scientist、Calicoの老化研究で新たな道を開く

Calico Life SciencesはCo-Scientistを使い、統合ストレス応答（ISR）が代謝によって制御されるという新たな仮説を立てた。研究者はCo-Scientistと対話して検証実験の設計を磨き、結果が出るたびに新たな情報を入力した。その結果、ISRの健康と疾患における役割に重要な示唆を与える新たな知見が得られ、チームは今後この成果を発表する予定である。

Google Research、Empirical Research Assistance（ERA）の科学研究での活用例を紹介

Google Researchの科学者らが、専門家レベルの実証ソフトウェアを生成するAIツール「Empirical Research Assistance（ERA）」を公衆衛生、宇宙論、気候分野などで活用している。公衆衛生では、インフルエンザ、COVID-19、RSVの入院予測を毎週リアルタイムで提出し、インフルエンザとCOVID-19の公開リーダーボードで上位またはそれに近い成績を示している。宇宙論では、ERAとGemini Deep Thinkを組み合わせ、宇宙ひもからの重力エネルギー放射に関する一般解6つと漸近極限の簡潔な式を導出した。

Sony AI、ICLR 2026での研究成果をまとめて紹介

Sony AIが、International Conference on Learning Representations（ICLR）2026に向けた研究成果をまとめて紹介している。同社は数年にわたりICLRに研究を寄せてきた。ICLRはモデルの学習、解釈、実システムへの展開を方向づける研究の主要な場であり、理論から創造的な応用まで幅広い研究が集まるとしている。

カラクリ、GENIAC第3期で国産CUAモデル「KARAKURI VL2」を開発 画像編集・メール操作でClaude Sonnet 4.6を上回る

カラクリが、PC操作を自律実行する国産CUA向け視覚言語モデル「KARAKURI VL2」（8Bパラメータ）を開発し、GENIAC第3期の成果として公開した。自社開発の日本語PC操作ベンチマーク「OSWorld-JP v0.2」（100タスク）の総合スコアは0.331で、Claude Sonnet 4.6の0.593には及ばないが、画像編集（GIMP）とメール操作（Thunderbird）の2カテゴリではClaude Sonnet 4.6を上回った。

Google Research、AIベンチマークに必要な評価者数を検証

Google Researchは、AI評価で項目数と項目ごとの評価者数のどちらを優先すべきかを検証した。多数決との一致を見る場合は項目数を増やす方が有効で、意見の幅を捉える場合は評価者数を増やす必要がある。従来の1〜5人という基準は不十分な場合が多く、約1,000件の総アノテーション規模でも適切な配分により再現性の高い結果が得られるとしている。

GENIAC3期のLLM開発で使用したロングコンテキスト評価ベンチマーク・データセットを公開

ABEJAは、GENIAC3期の基盤モデル開発で使用したロングコンテキスト処理性能の評価タスク・ベンチマークと、評価を実行できるリポジトリを公開した。評価にはRULER（NIAH、QA）、LongBench v2、MRCR（OpenAI-MRCRの日本語版を含む）を用いた。新たに作成した評価データセットも併せて公開している。

Rerankerのモデル比較とコスト削減実験、Cross Encoder型と汎用LLM型を検証

RAGのRerankerについて、Cross Encoder型と汎用LLM型を検索精度・応答時間・運用コストの観点から比較した。JQaRAではCross Encoder型のcl-nagoya/ruri-v3-reranker-310mがnDCG@10 0.869で最高値を記録し、Multi-hop FAQでは汎用LLMが相対的に高いスコアを示した。さらに汎用LLM型のコスト削減手法により、精度を維持したまま最大40%のコスト削減を達成したとしている。

NVIDIA Clara を使って医療・創薬系の AI モデルを動かしてみた

ABEJA の筆者が NVIDIA の医療系 AI プラットフォーム「NVIDIA Clara」を試し、MONAI Toolkit で内臓セグメンテーション用モデル VISTA-3D をファインチューニングして CT 画像で推論した。学習には腹部 CT 画像 150 枚と 5 epoch を用い、GCP の T4 1 台で動作させた。創薬分野では BioNeMo Framework でタンパク質言語モデル ESM-2 の学習と推論も試している。

WildGuardTestJP、日本語ガードレールベンチマークを開発

SB Intuitionsの研究チームが、英語のWildGuardTestを日本語化したガードレール評価ベンチマーク「WildGuardTestJP」を開発したと発表した。有害コンテンツ翻訳に特化した多段階の手法を用い、1,725件のデータを公開している。さらに、このデータセットで学習した日本語ガードレールモデル「sarashina-wildguard-7B」も開発した。

『JamC-QA』：日本の文化や風習に特化した質問応答ベンチマークの構築・公開（後編）

SB Intuitionsは、日本の文化や風習に関する知識を問う質問応答ベンチマーク「JamC-QA」を用いて事前学習モデルを評価した。全体スコア（All）の首位はsarashina2-8x70bとsarashina2-70bの0.725で、Llama-3.3-Swallow-70B-v0.4が0.697で続く。評価は4-shotの設定で行われ、LLMが答えた選択肢の文字列が正解と完全一致した問題数の割合でスコアを算出した。

SB Intuitions、日本の文化・風習に特化した質問応答ベンチマーク「JamC-QA」を公開

SB Intuitionsは、日本固有の知識を問う多肢選択式の質問応答ベンチマーク「JamC-QA」を構築し、Hugging Faceで公開した。全2,309問で、文化、風習、風土、地理、日本史、行政、法律、医療の8カテゴリからなる。既存のJCommonsenseQAやJMMLUに比べ難度が高く、利用申請なしで誰でも使える。

ICML 2025採択論文「Scaling Laws for Upcycling Mixture-of-Experts Language Models」

SB Intuitionsの研究者Seng Pei Liew、Takuya Kato、Sho Takaseによる論文が、機械学習のトップカンファレンスICML 2025に採択された。小さなモデルを再利用（upcycling）して大規模なMoEモデルを構築する際のスケーリング則を調査している。その結果、再利用するデータを増やしても性能は単純には向上し続けず、元のモデルの学習方法の影響を受けるという新たな効果を見出し、upcyclingを効果的に行うためのガイドラインを提示している。

日本語ModernBERTの開発と評価（1/3）

SB Intuitionsは、日本語と英語合わせて約4.4T tokensを学習した日本語ModernBERTを構築し、HuggingFaceでMITライセンスのもと公開した。パラメータサイズは30m、70m、130m、310mの4種類で、公開時点では同規模の各モデルと比べて最も高い性能を達成したとしている。既存モデルを含む12のデータセットで評価を行った。

日本語LLMの安全性境界テスト：過度な拒否と有用性を測る日本語データセット

SB Intuitionsは、LLMの過度な拒否と安全性の両方を測定できる日本語データセット「日本語安全性境界テスト」を構築した。12のリスクカテゴリと5種のプロンプトタイプで安全な入力と安全でない入力を作成し、採点形式で評価する。同程度のパラメータサイズのInstructモデルと比べ、sarashina2.2-3B-instruct-v0.1のスコアは大きく上回ったという。