Microsoft AIの診断オーケストレーターMAI-DxOは、NEJMの症例記録を用いた評価で最大85%の症例を正しく診断し、経験豊富な医師グループの4倍以上の割合に達した。医師より費用対効果も高いという。評価にはNEJMの最新304症例を段階的な診断過程に変換したSequential Diagnosis Benchmark（SD Bench）が使われ、検査には仮想的なコストが設定された。ただし、より一般的な症状での性能はさらなる検証が必要とされる。
Perplexity@perplexity_aiAIスコア3939Gemini 4 ArgonがWANDRで新記録を樹立した。 現在、PerplexityでProおよびMaxの購読者向けに提供されている。
Mistral AI@MistralAIAIスコア2121
AWSは自律型ペネトレーションテストエージェントAWS Security Agent（now part of AWS Continuum）を、最近公開された実在のCVE 37件に適用し、33件（89.2%）で意図された脆弱性をエンドツーエンドでエクスプロイトした。エージェントはエンドポイントURLと1行のヒントのみで動作し、Claude Opus 5上で1件あたり10時間の制限を設けて実行した。取得までの所要時間の中央値は約4時間で、2件は整合性監査で再分類、2件はターゲットをダウンさせて失敗した。
Preferred Networks 技術ブログの記事「Tokyo-Metropolitan Government Complex QA」は、日本語の複雑な質問応答と引用を評価するベンチマークを扱う内容とされる。ただし、取得できた本文は404エラーページとサイトのナビゲーション、Cookie の案内のみで、ベンチマークの規模、評価結果、公開形態などの詳細は確認できない。
日本と韓国のAIセーフティ・インスティテュートが、2026年10月8日と9日の2日間、AI安全性に関する初の合同技術ワークショップを開催した。両国の研究者・技術者ら計30名が参加し、多言語・多文化を踏まえた評価手法やAIセキュリティなどを議論した。2日目には日本側がJAI-Trustを説明し、韓国側がマルチモーダル・レッドチーミングを紹介した。
LINEヤフーは、Yahoo!ショッピングやYahoo!検索などの固有テキストで事前学習したBERT系モデルを社内共有するプロジェクト「Moegi」を紹介した。bert-110mのMoegiモデルは公開日本語モデル2種を全3タスクで上回り、gpt-5.6-solと近いスコアを示した。推論コストはgpt-5.6-solの約900分の1〜約1,700分の1と概算されている。
理化学研究所 革新知能統合研究センター（AIP）に属する研究者による76本の論文がNeurIPS 2026に採択された。NeurIPSメイントラックには30,709件の論文が投稿され、7,900件（25.7%）が採択された。NeurIPSは機械学習および人工知能分野における世界有数の国際会議の一つである。
研究では、データが限られる低リソース言語の事前学習において、高リソース言語のデータを混ぜる手法がハイパーパラメータ調整より大きく性能を改善すると示された。150Mから1.43Bパラメータの4規模で、アラビア語に英語データを混ぜた約1000回の事前学習を比較し、検証損失と下流タスク精度の両方で混合が優位となった。混合の効果は目的言語の固有データ2〜3倍分（検証損失）、2〜13倍分（下流タスク精度）に相当し、検証損失だけでは混合の価値が過小評価される。
機械翻訳（MT）の品質評価において、LLMと人間アノテーターの一致度を、MQMとESAの2つの評価方式で検証した研究である。70言語ペアの長文テストセットとWMT23・WMT25データを用いた結果、LLMの一致度が人間同士を上回る場合もあったが、多くの設定では両者とも信頼性が不十分だった。人間は細粒度のMQMや低リソース言語ペアで、LLMは軽微な誤りやエラースパンアノテーションで課題を抱えることも示された。
ELYZAは、コンタクトセンターの電話応対業務を評価する日本語エージェントベンチマーク「ELYZA Agent Tasks: Customer Service」を公開した。通信、EC・フリマ、ホテル、宅配の4ドメイン96シナリオで、音声とテキストの両方を評価でき、Apache-2.0ライセンスでGitHubに置かれている。評価ではテキストのタスク遂行の最高スコアがgemini-3.6-flashの0.781で、音声入出力の3モデルはタスク遂行とツールがいずれも0.3を下回った。
GitHubがAIコードレビューのオフラインベンチマーク「ReviewBench」を公開し、現在利用可能である。GitHub上の103.9M件のPRの分布に基づき、19言語・219件の公開PRで構成し、人間のレビュアー、フロンティアLLM、静的解析によるゴールデンセットを用いる。上級エンジニアによる独立検証で96.6%の一致を示し、Copilot code reviewのオフライン評価も本番実験の方向を予測しやすくなった。
MicrosoftとHugging Faceは、AIエージェントが残すバックエンド状態と副作用で採点するベンチマークThinkingBoxを公開した。507の業務ワークフローを各20回実行し、Claude Opus 5.5がpass@1で67.16%と最上位だった。OpenEnv経由で自分のモデルを評価することもできる。
選定理由：最終応答ではなくDB状態で採点し、20回反復の一貫性とコストまで数値で比較しており、エージェント評価の設計を考える際の材料になる。
NVIDIAはMLPerf Inference v6.1にVera Rubin NVL72のプレビュー結果を初提出し、Qwen3-VLでGB300 NVL72比最大3.7倍、DeepSeek-R1で最大2.5倍のスループットを記録した。GB300 NVL72は1ラックから4ラック（GPU 288基）への拡張で99%のスケーリング効率を達成し、ソフトウェア最適化でv6.0比最大1.6倍に向上した。
ExploitBenchによる評価で、オープンウェイトモデルのGLM-5.2は一部の高度なエクスプロイト開発能力に到達したが、Opus 4.7、Opus 4.8との差が残った。V8の41タスクの平均スコアはOpus 4.8が5.22、Opus 4.7が3.63、GLM-5.2が2.80だった。T5到達時のトークン費用はGLM-5.2が3.71米ドルで最も低かった。
SB Intuitions Creative Vision Teamが、LingBot-World Fastを対象に、学習なしで推論時に適用できるメモリポリシーを比較した。full attention、ウィンドウ制限、attention sink、明示的検索、camera-aware attention、RELIC着想の圧縮キャッシュを同一モデルで検証した結果、単独の勝者はなく、優劣はカメラの戻り方で変わる。評価にはPSNR、SSIM、LPIPS、DINO similarityを用いた。
ABEJAは、NVIDIA Nemotron 3 Nano（30B-A3B）のBaseモデルに対し、日本語の汎用能力強化を目的とするSFT Stage 1と、金融特化のSFT Stage 2の2段階でSFTを実施した。Stage 1ではBaseモデルと事後学習済みモデル、2種類のデータブレンドを組み合わせた計4条件を比較した。評価にはSwallow Leaderboard v2、Fin-Harness、EDINET-Benchを用いている。
理研AIPセンターの論文が自然言語処理のトップ国際会議EMNLP 2026で、Main Conferenceに9件、Findingsに7件、そのほかのトラック・併設会議に2件採択された。Main Conferenceの採択論文には、Transformerのアテンションシンクを扱う研究や、RLVRのデータ配分を検証した研究などが含まれる。会議は10月24日～28日にBudapest, Hungaryで開催される。
Hugging Faceが、多言語とボイスクローンに対応するオープンソースTTSモデルを客観指標で評価する「Open TTS Leaderboard」を公開した。認識精度を示すWER/CER、推論速度を示すRTFx/TTFA、話者類似度を示すSIMを用い、アリーナ型評価に比べてモデルの評価期間を数週間から数時間に短縮するとしている。人間の好みを測る評価は「Listen」タブでの投票に委ねられる。
Hugging Faceは、MCPエージェントの回答を出典単位で検証する後処理レイヤーProvenanceGuardを提案した。根拠全体では支持されるが、回答が名指しした出典とは別の出典にしか存在しない主張、いわゆる出典の取り違えを検出する。医療エージェントの281件のトレースを用いた評価では、専門家が通すべきでないとした139件のうち138件を検出し、支持されていたとされた67件は再確認や修正に回した。
SB Intuitionsは、LLMのマルチターン対話能力を測るベンチマークMultiChallengeの日本語版「J-MultiChallenge」を公開した。Sarashina3 translateによる自動翻訳に人手の品質チェックを加え、全273件のうち日本語では成立しない19件を作り替え、外部知識を要する53件に「要知識」タグを付与した。様々なモデルの評価とthinkingの効果分析も行っている。
Qwen@Alibaba_QwenAIスコア5151
OpenAIは、現実的なメンタルヘルスの会話においてAIの応答の有用性と安全性を評価するためのベンチマーク「MentalHealthBench」を発表した。専門家の知見を取り入れたベンチマークである。
Qwen@Alibaba_QwenAIスコア3131Qwen-Image-2.1 by @Alibaba_Qwen just landed as the #1 open source model in the Image Edit Arena and Text-to-Image Arena! With 1367 pts in the Image Edit Arena, Qwen-Image-2.1 took the #1 spot among open. It landed #16 overall, just 3 pts from GPT-Image-1.5-high-fidelity at #15. See the leaderboard for the Text-to-Image arena below. Congrats to the @Alibaba_Qwen team on this contribution to the open source ecosystem!
英国AI Security Institute（AISI）は、EvalEvalの公開基盤「Evaluation Cards」を使い、評価結果の公開を始めた。
Google Researchは、中距離物流（middle-mile logistics）の問題に向けて現実的なベンチマークを作成するC++製のインスタンス生成ツール「MilleMiglia」を発表した。物流企業がネットワーク構成や需要量を機密扱いしてきたため公開データが不足していたが、このツールはプライバシーに配慮したデータを生成できる。ソースコードとドキュメントはGitHubで公開されている。
ストックマークは製造業の役職者208名と実務者384名への調査結果を発表した。役職者の84.1%が生成AIの印象がポジティブに変化したと答えた一方、実務者の73.2%は「頼みたいのに頼めていない業務がある」と回答した。理由の最多は社内システムとの非連携（44.5%）で、両者とも「自社独自のデータ・ナレッジの整備」を最重要課題に挙げた。
三菱重工業とPreferred Networks（PFN）は2026年8月31日に資本業務提携契約を締結した。三菱重工は株主総会での承認など必要な手続きの完了を条件に、第三者割当増資を引き受け、PFNへ総額100億円を出資する。両社は社会インフラやナショナルセキュリティ分野で、機械・システムの知能化・自律化に向けた共同開発を本格化させる。
LINEヤフーはSpeculation Rules APIによる事前レンダリングと広告の先読みを検証し、表示が遅い広告を高速化するとCTRとClickが有意に増加したと報告している。aboveAD（2）ではPrefetchでもPrerenderでも、Clickのリフト値は約1.4％だった。ページ配信側のキャパシティ負荷が課題となるPrerenderに対し、広告のみのPrefetchは同程度の効果を得られたとしている。
LFM2.5-350Mを、TRLのGroup Relative Policy Optimization（GRPO）で約500サンプル・100ステップ学習し、IFStructベンチマークのスコアを22.6%から29.7%に向上させる手順を公開した。学習は無料枠のColabやKaggleのGPUで実行でき、ノートブックはGitHubで公開されている。評価はllama.cppを使ってMacBookでローカルに行い、ベースラインは22.6%で、IFStruct公式ブログの報告値21.1%に近い結果だった。
Hugging Faceは、LLMベンチマークを個々のプロンプト単位で分析する手法「BenchMIRT」を発表した。100のLLM、16のベンチマーク、34K超の質問の結果から、事前の指定なしに「安全性」と「汎用推論」という二つの主要な次元を抽出した。たとえばBBQは安全性ベンチマークに分類されるものの汎用推論との相関が強く、WMDPも安全性より汎用推論と強く関連していた。
SB Intuitionsは、8月16日から18日に仙台で開かれた言語処理若手シンポジウム（YANS2026）にプラチナスポンサーとして協賛し、10件の発表とハッカソンへの参加を行った。日本語エージェントベンチマーク「J-tau」などを発表し、漢字読み評価と音声合成の研究は奨励賞、意味的ソートはデモ賞を受賞した。ブースではSarashina3 miniのチャットAIとSarashina3 translateの同時翻訳をデモ展示した。
Hugging FaceとVoice Arenaは、Open ASR LeaderboardにMonsoon en-INとMonsoon hi-INの2つの評価セットを追加した。Hindiは、これまで欧州言語のみだった多言語タブで初のインド系言語となる。4つのスプリットは計4,888人の話者を含み、各話者に12の属性が記録されている。
Google DeepMindは、Singapore AI Safety Institute、OpenMined、AVERI、MLCommonsと組み、Gemini Flash Liteを機密ベンチマークで評価する二重盲検型のAI評価を試行している。外部の評価問題は暗号技術による「箱」の中に閉じ込められ、モデルが事前に問題を見て性能を最適化することを防ぐ。プライバシーを保護した環境で評価の完全性を高めるための取り組みである。
Hugging Faceは、音声認識（ASR）モデルが公開ベンチマーク固有のパターンに最適化されているかを測る3つのテストを提案した。オープンソースASRモデル11件を評価したところ、スコア上位の複数モデルが、音声と矛盾する場合でもVoxPopuliやLibriSpeechの参照書き起こしを再現した。Open ASR Leaderboardには「Benchmark fitting」タブが追加された。
AIエージェントに与えるメモリ量は、モデルの能力に応じて調整する必要がある。ALTK-Evolveはエージェントが過去の試行から抽出したガイドラインを推論時に注入する仕組みで、重みの更新は行わない。強いモデルのDeepSeek-V3.2（671B MoE）は全ガイドラインを与えた場合にタスク完了率（TGC）が+9.5ポイント向上した一方、gpt-oss-120b（117B MoE）は厳選した検索型の注入で+16.1ポイント向上し、トークン増加は+5%にとどまった。GLM-5では測定可能な改善は見られなかった。
SB Intuitionsのチームは、公開済みFast-WAMのチェックポイントを出発点に、Flash-WAMのアクション側consistency distillationをFast-WAM本来の推論グラフに適応させた。蒸留するのはActionDiTエキスパートのみで、学習はオフラインのLIBERO data（277,713フレーム）だけで行う。元の10ステップ方策に対し、1ステップと2ステップの推論で成功率がどこまで保たれ、蒸留で差がどれだけ縮まるかを、2,000エピソードのclosed-loop評価で検証する。
Google Researchは、大規模言語モデル（LLM）の事実誤りの多くは知識が未獲得な「空の棚」ではなく、取り出せない「失われた鍵」、つまり想起の失敗だと示した。Gemini-3-ProとGPT-5では95–98%の事実が符号化されている一方、直接想起できない事実が26–34%あり、思考を使っても11–12%で失敗する。
LayerXのリサーチ・エンジニアが、ICML 2026で紹介された本番稼働のLLMエージェント86システムの調査から、成功例は追加学習を避け、人の確認までの自律ステップを10未満に抑え、事前に決めた手順に沿わせる地味な設計に収束していると報告する。本番システムの70%が追加学習をせず、80%が事前定義の手順に沿わせており、評価は人の確認が74%を占め、75%は正式なベンチマークを持たない。知識ベースについては、検索の窓口だけから全体の復元率が4分野混在で45〜49%に達したとする研究が紹介されている。
Google Researchは、AIが生成する研究成果の主張を証拠の連鎖（Chain-of-Evidence）で追跡可能にする自律型研究フレームワーク「Science One Framework」を発表した。既存のベースラインシステムは参照文献の最大21%を幻覚（ハルシネーション）で生成していたのに対し、本フレームワークは架空の参照文献をゼロに抑えた。75本の論文を対象としたCoE Auditでは4つの整合性チェックすべてで既存システムを上回り、MLE-BenchやParameter-Golfといったベンチマークでも最先端の性能を達成したとしている。