Microsoft AIの診断オーケストレーターMAI-DxOは、NEJMの症例記録を用いた評価で最大85%の症例を正しく診断し、経験豊富な医師グループの4倍以上の割合に達した。医師より費用対効果も高いという。評価にはNEJMの最新304症例を段階的な診断過程に変換したSequential Diagnosis Benchmark（SD Bench）が使われ、検査には仮想的なコストが設定された。ただし、より一般的な症状での性能はさらなる検証が必要とされる。
Perplexity@perplexity_aiAIスコア3939Gemini 4 ArgonがWANDRで新記録を樹立した。 現在、PerplexityでProおよびMaxの購読者向けに提供されている。
The Vergeの3人の記者が、NVIDIAのArm系SoC「RTX Spark N1X」搭載ノートPC5台を1週間試用した。GPU性能は評価できる一方、CPU性能はAppleに及ばず、価格は2,599.99ドルから6,999.99ドルと高く、ローカルAIも現時点では開発者向けのベータ的な体験だと評価している。
Mistral AI@MistralAIAIスコア2121
AWSは自律型ペネトレーションテストエージェントAWS Security Agent（now part of AWS Continuum）を、最近公開された実在のCVE 37件に適用し、33件（89.2%）で意図された脆弱性をエンドツーエンドでエクスプロイトした。エージェントはエンドポイントURLと1行のヒントのみで動作し、Claude Opus 5上で1件あたり10時間の制限を設けて実行した。取得までの所要時間の中央値は約4時間で、2件は整合性監査で再分類、2件はターゲットをダウンさせて失敗した。
Preferred Networks 技術ブログの記事「Tokyo-Metropolitan Government Complex QA」は、日本語の複雑な質問応答と引用を評価するベンチマークを扱う内容とされる。ただし、取得できた本文は404エラーページとサイトのナビゲーション、Cookie の案内のみで、ベンチマークの規模、評価結果、公開形態などの詳細は確認できない。
MISTは、シーン設定と指示された変化の実行を分けて評価する手法で、モデルはシーンを設定しても指示された変化を実行しない点がボトルネックだと示される。提案手法M3-Agentは入力指示の詳細を再帰的に修正し、ベースラインと比べてMIST revealスコアを3倍以上に高めた。ベンチマークではWRBenchのTスコアが26.1%、MBench-TのUスコアが52.7%向上した。
HexaShellは、視覚情報と自作ツールで双腕ロボットを制御するコーディングエージェントであり、RoboDojoの全42タスクで成功率39.7%、進捗スコア48.0を記録して、同ベンチマークの新たなSOTAを達成したとしている。性能の限界は推論ではなく接触にあり、押す動作は92.5%、メモリ系タスクは65.0%だったが、狭い挿入は8.3%にとどまる。使用モデルはCodexとGPT-6-Astra（medium reasoning effort）で、作成したツールはオープンソースとして公開される。
RAPは、機械学習分野の各種カンファレンスで2022年から2026年に発表された論文とポスターの検証済みペアを25K以上収めた、論文からポスターを生成するためのデータセットおよびベンチマークである。各ポスターは型付きで差し替え可能なスロットを持つHTML/CSSに自動変換され、元のポスターとのレンダリング比較で検証できる。学習不要のマルチエージェント手法PosterRAGは既存ポスターを検索し、レイアウトやスタイルを変えずにスロットを埋める。同じデータからSFTとRLで学習した専用モデルも提示されている。
日本と韓国のAIセーフティ・インスティテュートが、2026年10月8日と9日の2日間、AI安全性に関する初の合同技術ワークショップを開催した。両国の研究者・技術者ら計30名が参加し、多言語・多文化を踏まえた評価手法やAIセキュリティなどを議論した。2日目には日本側がJAI-Trustを説明し、韓国側がマルチモーダル・レッドチーミングを紹介した。
LINEヤフーは、Yahoo!ショッピングやYahoo!検索などの固有テキストで事前学習したBERT系モデルを社内共有するプロジェクト「Moegi」を紹介した。bert-110mのMoegiモデルは公開日本語モデル2種を全3タスクで上回り、gpt-5.6-solと近いスコアを示した。推論コストはgpt-5.6-solの約900分の1〜約1,700分の1と概算されている。
VLA-Δは、現在と未来の観測の間の物理的な状態遷移を明示的な学習目標とすることで、ロボット制御を改善する汎用フレームワークである。LIBEROとRoboTwinのベンチマークで最先端手法に匹敵する性能を示し、実機実験ではπ0.5を上回った。推論時は現在の観測から直接行動を生成し、追加の推論コストは生じないとされる。
OmniVerifier-C1は、複雑なマルチモーダルのルールを細かい要素に分解して点数を付ける生成型の視覚検証器である。二値判定より連続的な批評信号を得られ、テキストから画像への生成では二値検証器を大きく上回ったと報告されている。さらに正解画像がある場合はペアワイズ検証の方が点単位の検証より正確な批評を出せるとし、MazeやSudokuなどの構造化された世界モデリングタスクで有効性を示したとしている。
GPT-6-Astraは、12のベンチマークでin-context learning（ICL）を用いて高い性能を示したが、実機展開ではデモ収集コスト、実行時間、実用的な身体性知能の面で課題が残るとする報告である。高レベルの推論を担う「System 2」としてGPT-6-Astraを、低レベルの制御を担う「System 1」としてπ0.5を組み合わせた閉ループ構成は、コストは高いものの効果的だとされる。報告は、身体性能力の閾値はおおむね越えたが、実用的な身体性知能の閾値にはまだ達していないと結論づけている。
AIエージェントは物理研究で局所的な科学的成果を出すものの、研究課題を完全に解決するまでには至らないことを、専門家が検証した50タスクのベンチマーク「PhysClosureBench」が示した。最も高い平均Atomic Scoreを記録したClaude-Opus-5は6.29/10だったが、RC4に到達したのは試行の32.7%にとどまった。Atomic Scoreが8/10以上の試行でも36.2%はRC4に届かず、局所的な成果と研究の完結との間に持続的なギャップがあることが示された。
FDE-Gymは、要件が曖昧で未提示の制約を発見する必要がある顧客向けの導入タスクでAIエージェントを評価するベンチマークである。18業界・20の顧客シナリオから集めた95件のエンドツーエンドのタスクを含み、7社の13構成を評価した結果、最良の構成でも平均スコアは0.56にとどまり、95件中14件しか解決（スコア0.8以上かつインシデントなし）できなかった。未提示の制約の発見が主なボトルネックであり、必要な情報をすべて得られた23件でも、0.8以上に達したのは10件だけだった。
MITのNeil Thompsonらの研究によると、確率論、統計学理論、経済理論、高エネルギー理論、重力・宇宙論、量子物理学などの理論問題について、最良のAIモデルの正答率は2024年半ばの約2%から2026年半ばには約35%に上昇した。研究ではo1、o3、GPT-5からGPT-5.5までのOpenAIモデルを、学習データの締め切り後に発表された論文の問題で検証し、インターネット接続も遮断した。Thompsonは数年以内に多くの理論問題がAIによって大きく変わると見ている。
Gemini 4 Argonが一般提供（GA）となり、Google はAPI、Geminiアプリ、AI Mode、Antigravityなどで提供を開始した。導入価格は入出力100万トークンあたり$2/$10で、11月30日以降は$4/$20に倍増する。同日のAI Engineer NYCには約20,000人が参加し、Anthropic、Vals AI、Coatueの基調講演が行われた。
理化学研究所 革新知能統合研究センター（AIP）に属する研究者による76本の論文がNeurIPS 2026に採択された。NeurIPSメイントラックには30,709件の論文が投稿され、7,900件（25.7%）が採択された。NeurIPSは機械学習および人工知能分野における世界有数の国際会議の一つである。
RoTA-Benchは、2D観測から精密な3D回転制御へ変換するVision-language modelの能力を、対話型の3D-2D投影アライメント課題で評価するベンチマークである。GPT-5.6-Solの成功率は課題の17%にとどまり、学部生20人がテスト集合を4回完了した際の成功率100%と大きな差がある。モデルは人間に比べ、同じ状態で画像の重なりを改善しつつ姿勢のアライメントを悪化させる割合が高く（19.4%対10.9%）、操作履歴を除くと行動の96.8%が30度刻みの粗いステップになり、成功率も大きく低下する。
BizBenchは、決済企業の実業務手順に基づき、長期間タスクを実行するエージェントの途中経過の実行妥当性を評価するマルチターン型ベンチマークである。フロンティアモデルでも目標の部分的な達成に比べて制約違反が多く、Claude Opus 5とGPT-6 Solの厳密な成功率はそれぞれ64.0%、61.3%にとどまる。Qwen3.8-27Bは目標達成率が42.0%だが厳密な成功率は32.7%に下がり、結果のみの評価では無効な実行が見えなくなることを示している。
多段階の世界状態予測を評価するベンチマーク「WorldCast」が提案された。8カテゴリ320件のケースで12モデルを評価した結果、GPT-Image-2.5 Systemは72.8点、Nano Banana Proは42.8点、最良のオープンソースモデルは20.1点だった。強力な生成モデルは基盤の言語モデルの能力も効果的に活用している。
研究では、データが限られる低リソース言語の事前学習において、高リソース言語のデータを混ぜる手法がハイパーパラメータ調整より大きく性能を改善すると示された。150Mから1.43Bパラメータの4規模で、アラビア語に英語データを混ぜた約1000回の事前学習を比較し、検証損失と下流タスク精度の両方で混合が優位となった。混合の効果は目的言語の固有データ2〜3倍分（検証損失）、2〜13倍分（下流タスク精度）に相当し、検証損失だけでは混合の価値が過小評価される。
Into the Unknownは、論文と研究方向を与えてAIエージェントに後続論文を書かせるベンチマークである。9つの先端エージェントが書いた135本の提出物のうち、全条件を満たしたものはなく、114本が整合性チェックに失敗した。コードとデータは公開されている。
ElorianとScale AIが、視覚シーンが暗示する情報の推論力を測るベンチマーク「Humanity's Sixth Sense」を公開した。人間のpass@1が93.1に対し、最高のGPT 6 Astraは53.6、GLM-5.3-flashは26.8、Kimi K3は25.5だった。ほかに、宇宙でのAIの優位性を論じたAI Frontiersの記事と、AIの研究センスを測るTasteValも取り上げている。
機械翻訳（MT）の品質評価において、LLMと人間アノテーターの一致度を、MQMとESAの2つの評価方式で検証した研究である。70言語ペアの長文テストセットとWMT23・WMT25データを用いた結果、LLMの一致度が人間同士を上回る場合もあったが、多くの設定では両者とも信頼性が不十分だった。人間は細粒度のMQMや低リソース言語ペアで、LLMは軽微な誤りやエラースパンアノテーションで課題を抱えることも示された。
ELYZAは、コンタクトセンターの電話応対業務を評価する日本語エージェントベンチマーク「ELYZA Agent Tasks: Customer Service」を公開した。通信、EC・フリマ、ホテル、宅配の4ドメイン96シナリオで、音声とテキストの両方を評価でき、Apache-2.0ライセンスでGitHubに置かれている。評価ではテキストのタスク遂行の最高スコアがgemini-3.6-flashの0.781で、音声入出力の3モデルはタスク遂行とツールがいずれも0.3を下回った。
LiveMACEBenchは、ライブの金融市場で永続型LLMエージェントを評価する、決定トレースを用いたプロセス重視のベンチマークである。5つのフロンティアLLMを30日間評価した結果、実現リターンが能力別の測定値と乖離する「成果と能力のギャップ」が見られた。決定トレースに基づく診断では、能力ごとに異なるボトルネックが示された。
GitHubがAIコードレビューのオフラインベンチマーク「ReviewBench」を公開し、現在利用可能である。GitHub上の103.9M件のPRの分布に基づき、19言語・219件の公開PRで構成し、人間のレビュアー、フロンティアLLM、静的解析によるゴールデンセットを用いる。上級エンジニアによる独立検証で96.6%の一致を示し、Copilot code reviewのオフライン評価も本番実験の方向を予測しやすくなった。
MicrosoftとHugging Faceは、AIエージェントが残すバックエンド状態と副作用で採点するベンチマークThinkingBoxを公開した。507の業務ワークフローを各20回実行し、Claude Opus 5.5がpass@1で67.16%と最上位だった。OpenEnv経由で自分のモデルを評価することもできる。
選定理由：最終応答ではなくDB状態で採点し、20回反復の一貫性とコストまで数値で比較しており、エージェント評価の設計を考える際の材料になる。
NVIDIAはMLPerf Inference v6.1にVera Rubin NVL72のプレビュー結果を初提出し、Qwen3-VLでGB300 NVL72比最大3.7倍、DeepSeek-R1で最大2.5倍のスループットを記録した。GB300 NVL72は1ラックから4ラック（GPU 288基）への拡張で99%のスケーリング効率を達成し、ソフトウェア最適化でv6.0比最大1.6倍に向上した。
ExploitBenchによる評価で、オープンウェイトモデルのGLM-5.2は一部の高度なエクスプロイト開発能力に到達したが、Opus 4.7、Opus 4.8との差が残った。V8の41タスクの平均スコアはOpus 4.8が5.22、Opus 4.7が3.63、GLM-5.2が2.80だった。T5到達時のトークン費用はGLM-5.2が3.71米ドルで最も低かった。
SB Intuitions Creative Vision Teamが、LingBot-World Fastを対象に、学習なしで推論時に適用できるメモリポリシーを比較した。full attention、ウィンドウ制限、attention sink、明示的検索、camera-aware attention、RELIC着想の圧縮キャッシュを同一モデルで検証した結果、単独の勝者はなく、優劣はカメラの戻り方で変わる。評価にはPSNR、SSIM、LPIPS、DINO similarityを用いた。
ABEJAは、NVIDIA Nemotron 3 Nano（30B-A3B）のBaseモデルに対し、日本語の汎用能力強化を目的とするSFT Stage 1と、金融特化のSFT Stage 2の2段階でSFTを実施した。Stage 1ではBaseモデルと事後学習済みモデル、2種類のデータブレンドを組み合わせた計4条件を比較した。評価にはSwallow Leaderboard v2、Fin-Harness、EDINET-Benchを用いている。
理研AIPセンターの論文が自然言語処理のトップ国際会議EMNLP 2026で、Main Conferenceに9件、Findingsに7件、そのほかのトラック・併設会議に2件採択された。Main Conferenceの採択論文には、Transformerのアテンションシンクを扱う研究や、RLVRのデータ配分を検証した研究などが含まれる。会議は10月24日～28日にBudapest, Hungaryで開催される。
Hugging Faceが、多言語とボイスクローンに対応するオープンソースTTSモデルを客観指標で評価する「Open TTS Leaderboard」を公開した。認識精度を示すWER/CER、推論速度を示すRTFx/TTFA、話者類似度を示すSIMを用い、アリーナ型評価に比べてモデルの評価期間を数週間から数時間に短縮するとしている。人間の好みを測る評価は「Listen」タブでの投票に委ねられる。
Hugging Faceは、MCPエージェントの回答を出典単位で検証する後処理レイヤーProvenanceGuardを提案した。根拠全体では支持されるが、回答が名指しした出典とは別の出典にしか存在しない主張、いわゆる出典の取り違えを検出する。医療エージェントの281件のトレースを用いた評価では、専門家が通すべきでないとした139件のうち138件を検出し、支持されていたとされた67件は再確認や修正に回した。
SB Intuitionsは、LLMのマルチターン対話能力を測るベンチマークMultiChallengeの日本語版「J-MultiChallenge」を公開した。Sarashina3 translateによる自動翻訳に人手の品質チェックを加え、全273件のうち日本語では成立しない19件を作り替え、外部知識を要する53件に「要知識」タグを付与した。様々なモデルの評価とthinkingの効果分析も行っている。
Qwen@Alibaba_QwenAIスコア5151
OpenAIは、現実的なメンタルヘルスの会話においてAIの応答の有用性と安全性を評価するためのベンチマーク「MentalHealthBench」を発表した。専門家の知見を取り入れたベンチマークである。