OpenAI、MentalHealthBenchを発表

OpenAIは、現実的なメンタルヘルスの会話においてAIの応答の有用性と安全性を評価するためのベンチマーク「MentalHealthBench」を発表した。専門家の知見を取り入れたベンチマークである。

Qwen@Alibaba_QwenAIスコア3131

@arena の評価に感謝！🏆 Qwen-Image-2.1は、Image EditとText-to-Imageの両Arenaで、オープンソースモデルとして1位になった。ぜひ試して、作ったものを見せてほしい！🎨

UK AISIとEvalEval、ベンチマーク結果を再現可能にする取り組み

英国AI Security Institute（AISI）は、EvalEvalの公開基盤「Evaluation Cards」を使い、評価結果の公開を始めた。

MilleMiglia、中距離物流向けのリアルなインスタンス生成ツールを公開

Google Researchは、中距離物流（middle-mile logistics）の問題に向けて現実的なベンチマークを作成するC++製のインスタンス生成ツール「MilleMiglia」を発表した。物流企業がネットワーク構成や需要量を機密扱いしてきたため公開データが不足していたが、このツールはプライバシーに配慮したデータを生成できる。ソースコードとドキュメントはGitHubで公開されている。

ストックマーク、製造業の役職者と実務者の生成AI活用を比較調査。経営層の84%が手応え、現場の73%は「頼めない業務」あり

ストックマークは製造業の役職者208名と実務者384名への調査結果を発表した。役職者の84.1%が生成AIの印象がポジティブに変化したと答えた一方、実務者の73.2%は「頼みたいのに頼めていない業務がある」と回答した。理由の最多は社内システムとの非連携（44.5%）で、両者とも「自社独自のデータ・ナレッジの整備」を最重要課題に挙げた。

三菱重工とPFN、資本業務提携契約を締結

三菱重工業とPreferred Networks（PFN）は2026年8月31日に資本業務提携契約を締結した。三菱重工は株主総会での承認など必要な手続きの完了を条件に、第三者割当増資を引き受け、PFNへ総額100億円を出資する。両社は社会インフラやナショナルセキュリティ分野で、機械・システムの知能化・自律化に向けた共同開発を本格化させる。

Yahoo!ニュースの表示高速化で広告のクリックは増えるのか

LINEヤフーはSpeculation Rules APIによる事前レンダリングと広告の先読みを検証し、表示が遅い広告を高速化するとCTRとClickが有意に増加したと報告している。aboveAD（2）ではPrefetchでもPrerenderでも、Clickのリフト値は約1.4％だった。ページ配信側のキャパシティ負荷が課題となるPrerenderに対し、広告のみのPrefetchは同程度の効果を得られたとしている。

最新オープンアーティファクト（#24）：Motif-3、GLM-5.3、Hy4-previewとオープンモデルのライセンス動向

ZhipuのGLM-5.3は、GLM-5.2以前のMITから独自ライセンスへ変更された。Model as a Serviceを運営し、関連会社を含む連続12か月の売上が100億ドルを超える場合、商用利用前にZ.AIのセキュリティ審査が必要となる。「affiliates」が定義されておらず採用の障壁になると指摘し、Kimi K3やMiniMax M3も制限的な条件を課している。MotifのMotif-3はMITライセンスで公開されている。

LFM2.5-350Mを100 GRPOステップでファインチューニングし、構造化出力の精度を改善

LFM2.5-350Mを、TRLのGroup Relative Policy Optimization（GRPO）で約500サンプル・100ステップ学習し、IFStructベンチマークのスコアを22.6%から29.7%に向上させる手順を公開した。学習は無料枠のColabやKaggleのGPUで実行でき、ノートブックはGitHubで公開されている。評価はllama.cppを使ってMacBookでローカルに行い、ベースラインは22.6%で、IFStruct公式ブログの報告値21.1%に近い結果だった。

BenchMIRTで見るLLMベンチマークの実際の測定対象

Hugging Faceは、LLMベンチマークを個々のプロンプト単位で分析する手法「BenchMIRT」を発表した。100のLLM、16のベンチマーク、34K超の質問の結果から、事前の指定なしに「安全性」と「汎用推論」という二つの主要な次元を抽出した。たとえばBBQは安全性ベンチマークに分類されるものの汎用推論との相関が強く、WMDPも安全性より汎用推論と強く関連していた。

SB Intuitions、YANS2026に参加 10件の発表とハッカソンに登壇

SB Intuitionsは、8月16日から18日に仙台で開かれた言語処理若手シンポジウム（YANS2026）にプラチナスポンサーとして協賛し、10件の発表とハッカソンへの参加を行った。日本語エージェントベンチマーク「J-tau」などを発表し、漢字読み評価と音声合成の研究は奨励賞、意味的ソートはデモ賞を受賞した。ブースではSarashina3 miniのチャットAIとSarashina3 translateの同時翻訳をデモ展示した。

Open ASR Leaderboard、Voice Arenaと組みHindiとインド英語のMonsoon評価セットを追加

Hugging FaceとVoice Arenaは、Open ASR LeaderboardにMonsoon en-INとMonsoon hi-INの2つの評価セットを追加した。Hindiは、これまで欧州言語のみだった多言語タブで初のインド系言語となる。4つのスプリットは計4,888人の話者を含み、各話者に12の属性が記録されている。

Google DeepMind、世界初の二重盲検AI評価を試行

Google DeepMindは、Singapore AI Safety Institute、OpenMined、AVERI、MLCommonsと組み、Gemini Flash Liteを機密ベンチマークで評価する二重盲検型のAI評価を試行している。外部の評価問題は暗号技術による「箱」の中に閉じ込められ、モデルが事前に問題を見て性能を最適化することを防ぐ。プライバシーを保護した環境で評価の完全性を高めるための取り組みである。

Hugging Face、音声認識ベンチマークへの最適化を測る3つのテストを提案

Hugging Faceは、音声認識（ASR）モデルが公開ベンチマーク固有のパターンに最適化されているかを測る3つのテストを提案した。オープンソースASRモデル11件を評価したところ、スコア上位の複数モデルが、音声と矛盾する場合でもVoxPopuliやLibriSpeechの参照書き起こしを再現した。Open ASR Leaderboardには「Benchmark fitting」タブが追加された。

ALTK-Evolveで見るAIエージェントの最適なメモリ量

AIエージェントに与えるメモリ量は、モデルの能力に応じて調整する必要がある。ALTK-Evolveはエージェントが過去の試行から抽出したガイドラインを推論時に注入する仕組みで、重みの更新は行わない。強いモデルのDeepSeek-V3.2（671B MoE）は全ガイドラインを与えた場合にタスク完了率（TGC）が+9.5ポイント向上した一方、gpt-oss-120b（117B MoE）は厳選した検索型の注入で+16.1ポイント向上し、トークン増加は+5%にとどまった。GLM-5では測定可能な改善は見られなかった。

Few-Step World Action Models：Fast-WAMのアクション側蒸留

SB Intuitionsのチームは、公開済みFast-WAMのチェックポイントを出発点に、Flash-WAMのアクション側consistency distillationをFast-WAM本来の推論グラフに適応させた。蒸留するのはActionDiTエキスパートのみで、学習はオフラインのLIBERO data（277,713フレーム）だけで行う。元の10ステップ方策に対し、1ステップと2ステップの推論で成功率がどこまで保たれ、蒸留で差がどれだけ縮まるかを、2,000エピソードのclosed-loop評価で検証する。

Import AI 469：DiG-bench、RSIシミュレーター、科学AIの研究センス

Import AI 469は、隠されたルールを探索で見つけ出す力を測る70ゲームのベンチマークDiG-benchを取り上げている。Opus 5とFable 5がClaude Code併用で最上位だが、Tier 7で解けたのは0.2にとどまり、人間は100%を達成した例がある。ほかにRSIシミュレーターと、Inherentの科学AIモデルFaradayも紹介している。

Google Research、LLMの事実性のボトルネックは符号化でなく想起と指摘

Google Researchは、大規模言語モデル（LLM）の事実誤りの多くは知識が未獲得な「空の棚」ではなく、取り出せない「失われた鍵」、つまり想起の失敗だと示した。Gemini-3-ProとGPT-5では95–98%の事実が符号化されている一方、直接想起できない事実が26–34%あり、思考を使っても11–12%で失敗する。

Import AI 468：RSI対策の政策案23件、PostTrainBench+、AI開発競争における信頼と透明性

シンクタンクIFPが、AI研究開発の自動化リスクに備える政策案を7カテゴリー、23件にまとめた。MITとColumbiaの研究者による論文「Racing to Ruin」は、企業間で減速を協調させるには、技術開発の透明性と、相手を合理的で信頼できる主体とみなせることが鍵だと結論づけた。信頼が低い均衡では、破滅に向かう競争が確率1で起きるという。

ICML 2026で見えた、本番エージェント86システムの「地味な設計」

LayerXのリサーチ・エンジニアが、ICML 2026で紹介された本番稼働のLLMエージェント86システムの調査から、成功例は追加学習を避け、人の確認までの自律ステップを10未満に抑え、事前に決めた手順に沿わせる地味な設計に収束していると報告する。本番システムの70%が追加学習をせず、80%が事前定義の手順に沿わせており、評価は人の確認が74%を占め、75%は正式なベンチマークを持たない。知識ベースについては、検索の窓口だけから全体の復元率が4分野混在で45〜49%に達したとする研究が紹介されている。

Science One Framework、Chain-of-Evidenceによる検証可能な自律型研究フレームワークを提案

Google Researchは、AIが生成する研究成果の主張を証拠の連鎖（Chain-of-Evidence）で追跡可能にする自律型研究フレームワーク「Science One Framework」を発表した。既存のベースラインシステムは参照文献の最大21%を幻覚（ハルシネーション）で生成していたのに対し、本フレームワークは架空の参照文献をゼロに抑えた。75本の論文を対象としたCoE Auditでは4つの整合性チェックすべてで既存システムを上回り、MLE-BenchやParameter-Golfといったベンチマークでも最先端の性能を達成したとしている。

JMT-Safety、日本語マルチターン安全性評価ベンチマークを公開

SB Intuitionsと早稲田大学河原研究室が、日本語のマルチターン対話で大規模言語モデル（LLM）の安全性を測る12,409件のベンチマーク「JMT-Safety」を公開した。AnswerCarefullyを元に8種類の攻撃手法で拡張している。主要23モデルを評価した結果、すべてでマルチターンの有害率がシングルターンより上昇し、最大で約3.9倍に達した。ベンチマークデータと評価スクリプトも公開されている。

Kimi.ai@Kimi_MoonshotAIスコア3636

Kimi（Moonshot AI）は、視覚知覚を原子的な能力に分解して評価するベンチマーク「PerceptionBench」を公開した。42のベンチマークにおけるフロンティアモデルの失敗事例から10の原子的な知覚能力を導き出し、推論や外部知識を必要とせず、見るだけで答えられる3,000問の検証済み質問を構築した。ブログ、GitHub、Hugging Faceで公開されている。

Kimi K3のサイバー能力をUK AISIとCAISIが評価、Anthropicは Claude Opus 5のSystem Cardを公開

UK AISIとU.S. CAISIは、Moonshot AIのKimi K3のサイバー能力を共同評価し、最新のフロンティアモデルを大幅に下回るが、オープンウェイトモデルGLM-5.2は上回ると報告した。模擬企業ネットワーク「The Last Ones」への攻撃では、Kimi K3が32段階中平均17段階まで到達したのに対し、米国のフロンティアモデル群は平均28.5段階まで到達した。

DharmaOCR、ブラジルポルトガル語OCRのベンチマークでMistral OCR4とUnlimited-OCRを上回る

DharmaOCRは、ポルトガル語に特化したベンチマークでスコア0.925を記録し、Mistral OCR4（0.798）とUnlimited-OCR（0.7587）を上回った。記事は、この差を新しいモデルにも通じる特化学習の利点によるものだとしている。学習はブラジルポルトガル語の文書を用いた教師ありファインチューニングとDirect Preference Optimization（DPO）の2段階で行われ、DPOは出力の安定性を高めたとされる。

Real World VoiceEQ、音声AIの人間らしさを測るベンチマークを公開

Real World VoiceEQは、音声AIの人間らしさを測るベンチマークである。40以上のモデルを15以上の評価軸、60以上の指標で評価し、100万件超の人間による評価に基づく。TTSでは8つの能力群すべてで上位5位に入った構成はなかった。

Sarashina3 translate、日英・英日翻訳でGoogle翻訳を上回る評価

SB Intuitionsは、日英・英日翻訳に特化した大規模言語モデル「Sarashina3 translate」を発表した。LLMによるペアワイズ評価では、Google翻訳とplamo-2-translateの両方に対して勝ち越した。人手評価では英日翻訳で236対213と Google を上回った一方、日英翻訳では199対214で惜敗した。

Import AI 464：FableのGPUカーネル生成、AIによる業務自動化、アナログ計算

Jack ClarkのニュースレターImport AI 464は、FableがKernelBench-Megaで18.71倍の高速化を達成したと伝えた。Remote Labor IndexではAIの成功率が2.5%から16.1%に上昇し、OSWorld 2.0では最高でも20.6%にとどまった。JDの在庫管理システムOxygen AIICと短編小説も収録している。

Mistral AI、Lean 4向け形式検証モデル「Leanstral 1.5」を公開

Mistral AIは、Lean 4での形式検証に対応したApache-2.0ライセンスのモデル「Leanstral 1.5」を公開した。総パラメータ119B、アクティブパラメータ6Bで、miniF2Fを飽和させ、PutnamBenchでは672問中587問を解いた。FATE-Hで87%、FATE-Xで34%と新たなstate-of-the-artを達成し、Hugging Faceと無料APIで利用できる。

Sarashina3 mini / Sarashina3 nano：フルスクラッチで開発した最新の国産LLM

SB Intuitionsは、フルスクラッチで開発した国産LLM「Sarashina3 mini」とその軽量版「Sarashina3 nano」を公開し、商用APIとして提供を開始した。事前学習には日本語・英語を中心とした30Tトークンのデータを用い、数学（AIME 2025）やエージェント（τ2-bench Telecom）などで前世代のSarashina2 miniから大幅な性能向上を達成したという。

SB Intuitions、日本語エージェントベンチマーク「J-tau telecom」を公開

SB Intuitionsは、通信事業のカスタマーサポートを題材にしたエージェントベンチマーク「tau-bench telecom」の日本語版「J-tau telecom」を公開した。評価結果では、多くのモデルで英語版より日本語版のスコアが低く、評価言語によってエージェント能力の測定結果が変わることが示された。J-tau telecomの評価では、GLM-5.2が96.5%、gpt-5.6 Solが93.6%を記録し、ライセンスはModified MITで公開されている。

AISI、生成AIの安全性・セキュリティー評価ベンチマーク「JAI-Trust」の成果共有イベントを開催

AISIは2026年5月21日、生成AIの安全性とセキュリティーを評価するベンチマーク構築プロジェクト「JAI-Trust」のイベントを東京都内の会場とオンラインの併用で開催し、約500名が出席した。分科会発表ではバイアス、AIとの対話によるリスク、偽情報／誤情報、Jailbreak、情報漏洩、エージェントモデル、マルチモーダル、ロボティックスなどの検討状況が共有された。後半のパネルディスカッションでは、リスク管理の重要性と評価基準の標準化の必要性が議論された。

Google DeepMindのCo-Scientist、Calicoの老化研究で新たな道を開く

Calico Life SciencesはCo-Scientistを使い、統合ストレス応答（ISR）が代謝によって制御されるという新たな仮説を立てた。研究者はCo-Scientistと対話して検証実験の設計を磨き、結果が出るたびに新たな情報を入力した。その結果、ISRの健康と疾患における役割に重要な示唆を与える新たな知見が得られ、チームは今後この成果を発表する予定である。

Google Research、Empirical Research Assistance（ERA）の科学研究での活用例を紹介

Google Researchの科学者らが、専門家レベルの実証ソフトウェアを生成するAIツール「Empirical Research Assistance（ERA）」を公衆衛生、宇宙論、気候分野などで活用している。公衆衛生では、インフルエンザ、COVID-19、RSVの入院予測を毎週リアルタイムで提出し、インフルエンザとCOVID-19の公開リーダーボードで上位またはそれに近い成績を示している。宇宙論では、ERAとGemini Deep Thinkを組み合わせ、宇宙ひもからの重力エネルギー放射に関する一般解6つと漸近極限の簡潔な式を導出した。

Sony AI、ICLR 2026での研究成果をまとめて紹介

Sony AIが、International Conference on Learning Representations（ICLR）2026に向けた研究成果をまとめて紹介している。同社は数年にわたりICLRに研究を寄せてきた。ICLRはモデルの学習、解釈、実システムへの展開を方向づける研究の主要な場であり、理論から創造的な応用まで幅広い研究が集まるとしている。

Ethan Mollick、GPT-5.5を早期アクセスで実測し進歩と残る凹凸を評価

Ethan MollickはGPT-5.5に早期アクセスし、AIの急速な改善が続いていると評価した。GPT-5.5 Proは3Dの港町シミュレーションで町の進化を実際にモデル化できた唯一のモデルで、所要時間もGPT-5.4 Proの33分から20分に短縮した。一方、長編フィクションの質など能力の凹凸は残っている。

カラクリ、GENIAC第3期で国産CUAモデル「KARAKURI VL2」を開発 画像編集・メール操作でClaude Sonnet 4.6を上回る

カラクリが、PC操作を自律実行する国産CUA向け視覚言語モデル「KARAKURI VL2」（8Bパラメータ）を開発し、GENIAC第3期の成果として公開した。自社開発の日本語PC操作ベンチマーク「OSWorld-JP v0.2」（100タスク）の総合スコアは0.331で、Claude Sonnet 4.6の0.593には及ばないが、画像編集（GIMP）とメール操作（Thunderbird）の2カテゴリではClaude Sonnet 4.6を上回った。

Google Research、AIベンチマークに必要な評価者数を検証

Google Researchは、AI評価で項目数と項目ごとの評価者数のどちらを優先すべきかを検証した。多数決との一致を見る場合は項目数を増やす方が有効で、意見の幅を捉える場合は評価者数を増やす必要がある。従来の1〜5人という基準は不十分な場合が多く、約1,000件の総アノテーション規模でも適切な配分により再現性の高い結果が得られるとしている。

GENIAC3期のLLM開発で使用したロングコンテキスト評価ベンチマーク・データセットを公開

ABEJAは、GENIAC3期の基盤モデル開発で使用したロングコンテキスト処理性能の評価タスク・ベンチマークと、評価を実行できるリポジトリを公開した。評価にはRULER（NIAH、QA）、LongBench v2、MRCR（OpenAI-MRCRの日本語版を含む）を用いた。新たに作成した評価データセットも併せて公開している。

Rerankerのモデル比較とコスト削減実験、Cross Encoder型と汎用LLM型を検証

RAGのRerankerについて、Cross Encoder型と汎用LLM型を検索精度・応答時間・運用コストの観点から比較した。JQaRAではCross Encoder型のcl-nagoya/ruri-v3-reranker-310mがnDCG@10 0.869で最高値を記録し、Multi-hop FAQでは汎用LLMが相対的に高いスコアを示した。さらに汎用LLM型のコスト削減手法により、精度を維持したまま最大40%のコスト削減を達成したとしている。