Microsoft AIの診断オーケストレーターMAI-DxOは、NEJMの症例記録を用いた評価で最大85%の症例を正しく診断し、経験豊富な医師グループの4倍以上の割合に達した。医師より費用対効果も高いという。評価にはNEJMの最新304症例を段階的な診断過程に変換したSequential Diagnosis Benchmark（SD Bench）が使われ、検査には仮想的なコストが設定された。ただし、より一般的な症状での性能はさらなる検証が必要とされる。
AWSは自律型ペネトレーションテストエージェントAWS Security Agent（now part of AWS Continuum）を、最近公開された実在のCVE 37件に適用し、33件（89.2%）で意図された脆弱性をエンドツーエンドでエクスプロイトした。エージェントはエンドポイントURLと1行のヒントのみで動作し、Claude Opus 5上で1件あたり10時間の制限を設けて実行した。取得までの所要時間の中央値は約4時間で、2件は整合性監査で再分類、2件はターゲットをダウンさせて失敗した。
Preferred Networks 技術ブログの記事「Tokyo-Metropolitan Government Complex QA」は、日本語の複雑な質問応答と引用を評価するベンチマークを扱う内容とされる。ただし、取得できた本文は404エラーページとサイトのナビゲーション、Cookie の案内のみで、ベンチマークの規模、評価結果、公開形態などの詳細は確認できない。
MISTは、シーン設定と指示された変化の実行を分けて評価する手法で、モデルはシーンを設定しても指示された変化を実行しない点がボトルネックだと示される。提案手法M3-Agentは入力指示の詳細を再帰的に修正し、ベースラインと比べてMIST revealスコアを3倍以上に高めた。ベンチマークではWRBenchのTスコアが26.1%、MBench-TのUスコアが52.7%向上した。
HexaShellは、視覚情報と自作ツールで双腕ロボットを制御するコーディングエージェントであり、RoboDojoの全42タスクで成功率39.7%、進捗スコア48.0を記録して、同ベンチマークの新たなSOTAを達成したとしている。性能の限界は推論ではなく接触にあり、押す動作は92.5%、メモリ系タスクは65.0%だったが、狭い挿入は8.3%にとどまる。使用モデルはCodexとGPT-6-Astra（medium reasoning effort）で、作成したツールはオープンソースとして公開される。
RAPは、機械学習分野の各種カンファレンスで2022年から2026年に発表された論文とポスターの検証済みペアを25K以上収めた、論文からポスターを生成するためのデータセットおよびベンチマークである。各ポスターは型付きで差し替え可能なスロットを持つHTML/CSSに自動変換され、元のポスターとのレンダリング比較で検証できる。学習不要のマルチエージェント手法PosterRAGは既存ポスターを検索し、レイアウトやスタイルを変えずにスロットを埋める。同じデータからSFTとRLで学習した専用モデルも提示されている。
LINEヤフーは、Yahoo!ショッピングやYahoo!検索などの固有テキストで事前学習したBERT系モデルを社内共有するプロジェクト「Moegi」を紹介した。bert-110mのMoegiモデルは公開日本語モデル2種を全3タスクで上回り、gpt-5.6-solと近いスコアを示した。推論コストはgpt-5.6-solの約900分の1〜約1,700分の1と概算されている。
VLA-Δは、現在と未来の観測の間の物理的な状態遷移を明示的な学習目標とすることで、ロボット制御を改善する汎用フレームワークである。LIBEROとRoboTwinのベンチマークで最先端手法に匹敵する性能を示し、実機実験ではπ0.5を上回った。推論時は現在の観測から直接行動を生成し、追加の推論コストは生じないとされる。
OmniVerifier-C1は、複雑なマルチモーダルのルールを細かい要素に分解して点数を付ける生成型の視覚検証器である。二値判定より連続的な批評信号を得られ、テキストから画像への生成では二値検証器を大きく上回ったと報告されている。さらに正解画像がある場合はペアワイズ検証の方が点単位の検証より正確な批評を出せるとし、MazeやSudokuなどの構造化された世界モデリングタスクで有効性を示したとしている。
GPT-6-Astraは、12のベンチマークでin-context learning（ICL）を用いて高い性能を示したが、実機展開ではデモ収集コスト、実行時間、実用的な身体性知能の面で課題が残るとする報告である。高レベルの推論を担う「System 2」としてGPT-6-Astraを、低レベルの制御を担う「System 1」としてπ0.5を組み合わせた閉ループ構成は、コストは高いものの効果的だとされる。報告は、身体性能力の閾値はおおむね越えたが、実用的な身体性知能の閾値にはまだ達していないと結論づけている。
AIエージェントは物理研究で局所的な科学的成果を出すものの、研究課題を完全に解決するまでには至らないことを、専門家が検証した50タスクのベンチマーク「PhysClosureBench」が示した。最も高い平均Atomic Scoreを記録したClaude-Opus-5は6.29/10だったが、RC4に到達したのは試行の32.7%にとどまった。Atomic Scoreが8/10以上の試行でも36.2%はRC4に届かず、局所的な成果と研究の完結との間に持続的なギャップがあることが示された。
FDE-Gymは、要件が曖昧で未提示の制約を発見する必要がある顧客向けの導入タスクでAIエージェントを評価するベンチマークである。18業界・20の顧客シナリオから集めた95件のエンドツーエンドのタスクを含み、7社の13構成を評価した結果、最良の構成でも平均スコアは0.56にとどまり、95件中14件しか解決（スコア0.8以上かつインシデントなし）できなかった。未提示の制約の発見が主なボトルネックであり、必要な情報をすべて得られた23件でも、0.8以上に達したのは10件だけだった。
MITのNeil Thompsonらの研究によると、確率論、統計学理論、経済理論、高エネルギー理論、重力・宇宙論、量子物理学などの理論問題について、最良のAIモデルの正答率は2024年半ばの約2%から2026年半ばには約35%に上昇した。研究ではo1、o3、GPT-5からGPT-5.5までのOpenAIモデルを、学習データの締め切り後に発表された論文の問題で検証し、インターネット接続も遮断した。Thompsonは数年以内に多くの理論問題がAIによって大きく変わると見ている。
理化学研究所 革新知能統合研究センター（AIP）に属する研究者による76本の論文がNeurIPS 2026に採択された。NeurIPSメイントラックには30,709件の論文が投稿され、7,900件（25.7%）が採択された。NeurIPSは機械学習および人工知能分野における世界有数の国際会議の一つである。
RoTA-Benchは、2D観測から精密な3D回転制御へ変換するVision-language modelの能力を、対話型の3D-2D投影アライメント課題で評価するベンチマークである。GPT-5.6-Solの成功率は課題の17%にとどまり、学部生20人がテスト集合を4回完了した際の成功率100%と大きな差がある。モデルは人間に比べ、同じ状態で画像の重なりを改善しつつ姿勢のアライメントを悪化させる割合が高く（19.4%対10.9%）、操作履歴を除くと行動の96.8%が30度刻みの粗いステップになり、成功率も大きく低下する。
BizBenchは、決済企業の実業務手順に基づき、長期間タスクを実行するエージェントの途中経過の実行妥当性を評価するマルチターン型ベンチマークである。フロンティアモデルでも目標の部分的な達成に比べて制約違反が多く、Claude Opus 5とGPT-6 Solの厳密な成功率はそれぞれ64.0%、61.3%にとどまる。Qwen3.8-27Bは目標達成率が42.0%だが厳密な成功率は32.7%に下がり、結果のみの評価では無効な実行が見えなくなることを示している。
多段階の世界状態予測を評価するベンチマーク「WorldCast」が提案された。8カテゴリ320件のケースで12モデルを評価した結果、GPT-Image-2.5 Systemは72.8点、Nano Banana Proは42.8点、最良のオープンソースモデルは20.1点だった。強力な生成モデルは基盤の言語モデルの能力も効果的に活用している。
研究では、データが限られる低リソース言語の事前学習において、高リソース言語のデータを混ぜる手法がハイパーパラメータ調整より大きく性能を改善すると示された。150Mから1.43Bパラメータの4規模で、アラビア語に英語データを混ぜた約1000回の事前学習を比較し、検証損失と下流タスク精度の両方で混合が優位となった。混合の効果は目的言語の固有データ2〜3倍分（検証損失）、2〜13倍分（下流タスク精度）に相当し、検証損失だけでは混合の価値が過小評価される。
Into the Unknownは、論文と研究方向を与えてAIエージェントに後続論文を書かせるベンチマークである。9つの先端エージェントが書いた135本の提出物のうち、全条件を満たしたものはなく、114本が整合性チェックに失敗した。コードとデータは公開されている。
ElorianとScale AIが、視覚シーンが暗示する情報の推論力を測るベンチマーク「Humanity's Sixth Sense」を公開した。人間のpass@1が93.1に対し、最高のGPT 6 Astraは53.6、GLM-5.3-flashは26.8、Kimi K3は25.5だった。ほかに、宇宙でのAIの優位性を論じたAI Frontiersの記事と、AIの研究センスを測るTasteValも取り上げている。
機械翻訳（MT）の品質評価において、LLMと人間アノテーターの一致度を、MQMとESAの2つの評価方式で検証した研究である。70言語ペアの長文テストセットとWMT23・WMT25データを用いた結果、LLMの一致度が人間同士を上回る場合もあったが、多くの設定では両者とも信頼性が不十分だった。人間は細粒度のMQMや低リソース言語ペアで、LLMは軽微な誤りやエラースパンアノテーションで課題を抱えることも示された。
LiveMACEBenchは、ライブの金融市場で永続型LLMエージェントを評価する、決定トレースを用いたプロセス重視のベンチマークである。5つのフロンティアLLMを30日間評価した結果、実現リターンが能力別の測定値と乖離する「成果と能力のギャップ」が見られた。決定トレースに基づく診断では、能力ごとに異なるボトルネックが示された。
MicrosoftとHugging Faceは、AIエージェントが残すバックエンド状態と副作用で採点するベンチマークThinkingBoxを公開した。507の業務ワークフローを各20回実行し、Claude Opus 5.5がpass@1で67.16%と最上位だった。OpenEnv経由で自分のモデルを評価することもできる。
選定理由：最終応答ではなくDB状態で採点し、20回反復の一貫性とコストまで数値で比較しており、エージェント評価の設計を考える際の材料になる。
ExploitBenchによる評価で、オープンウェイトモデルのGLM-5.2は一部の高度なエクスプロイト開発能力に到達したが、Opus 4.7、Opus 4.8との差が残った。V8の41タスクの平均スコアはOpus 4.8が5.22、Opus 4.7が3.63、GLM-5.2が2.80だった。T5到達時のトークン費用はGLM-5.2が3.71米ドルで最も低かった。
SB Intuitions Creative Vision Teamが、LingBot-World Fastを対象に、学習なしで推論時に適用できるメモリポリシーを比較した。full attention、ウィンドウ制限、attention sink、明示的検索、camera-aware attention、RELIC着想の圧縮キャッシュを同一モデルで検証した結果、単独の勝者はなく、優劣はカメラの戻り方で変わる。評価にはPSNR、SSIM、LPIPS、DINO similarityを用いた。
理研AIPセンターの論文が自然言語処理のトップ国際会議EMNLP 2026で、Main Conferenceに9件、Findingsに7件、そのほかのトラック・併設会議に2件採択された。Main Conferenceの採択論文には、Transformerのアテンションシンクを扱う研究や、RLVRのデータ配分を検証した研究などが含まれる。会議は10月24日～28日にBudapest, Hungaryで開催される。
Hugging Faceは、MCPエージェントの回答を出典単位で検証する後処理レイヤーProvenanceGuardを提案した。根拠全体では支持されるが、回答が名指しした出典とは別の出典にしか存在しない主張、いわゆる出典の取り違えを検出する。医療エージェントの281件のトレースを用いた評価では、専門家が通すべきでないとした139件のうち138件を検出し、支持されていたとされた67件は再確認や修正に回した。
SB Intuitionsは、LLMのマルチターン対話能力を測るベンチマークMultiChallengeの日本語版「J-MultiChallenge」を公開した。Sarashina3 translateによる自動翻訳に人手の品質チェックを加え、全273件のうち日本語では成立しない19件を作り替え、外部知識を要する53件に「要知識」タグを付与した。様々なモデルの評価とthinkingの効果分析も行っている。
OpenAIは、現実的なメンタルヘルスの会話においてAIの応答の有用性と安全性を評価するためのベンチマーク「MentalHealthBench」を発表した。専門家の知見を取り入れたベンチマークである。
英国AI Security Institute（AISI）は、EvalEvalの公開基盤「Evaluation Cards」を使い、評価結果の公開を始めた。
Google Researchは、中距離物流（middle-mile logistics）の問題に向けて現実的なベンチマークを作成するC++製のインスタンス生成ツール「MilleMiglia」を発表した。物流企業がネットワーク構成や需要量を機密扱いしてきたため公開データが不足していたが、このツールはプライバシーに配慮したデータを生成できる。ソースコードとドキュメントはGitHubで公開されている。
LINEヤフーはSpeculation Rules APIによる事前レンダリングと広告の先読みを検証し、表示が遅い広告を高速化するとCTRとClickが有意に増加したと報告している。aboveAD（2）ではPrefetchでもPrerenderでも、Clickのリフト値は約1.4％だった。ページ配信側のキャパシティ負荷が課題となるPrerenderに対し、広告のみのPrefetchは同程度の効果を得られたとしている。
Hugging Faceは、LLMベンチマークを個々のプロンプト単位で分析する手法「BenchMIRT」を発表した。100のLLM、16のベンチマーク、34K超の質問の結果から、事前の指定なしに「安全性」と「汎用推論」という二つの主要な次元を抽出した。たとえばBBQは安全性ベンチマークに分類されるものの汎用推論との相関が強く、WMDPも安全性より汎用推論と強く関連していた。
Hugging FaceとVoice Arenaは、Open ASR LeaderboardにMonsoon en-INとMonsoon hi-INの2つの評価セットを追加した。Hindiは、これまで欧州言語のみだった多言語タブで初のインド系言語となる。4つのスプリットは計4,888人の話者を含み、各話者に12の属性が記録されている。
Hugging Faceは、音声認識（ASR）モデルが公開ベンチマーク固有のパターンに最適化されているかを測る3つのテストを提案した。オープンソースASRモデル11件を評価したところ、スコア上位の複数モデルが、音声と矛盾する場合でもVoxPopuliやLibriSpeechの参照書き起こしを再現した。Open ASR Leaderboardには「Benchmark fitting」タブが追加された。
AIエージェントに与えるメモリ量は、モデルの能力に応じて調整する必要がある。ALTK-Evolveはエージェントが過去の試行から抽出したガイドラインを推論時に注入する仕組みで、重みの更新は行わない。強いモデルのDeepSeek-V3.2（671B MoE）は全ガイドラインを与えた場合にタスク完了率（TGC）が+9.5ポイント向上した一方、gpt-oss-120b（117B MoE）は厳選した検索型の注入で+16.1ポイント向上し、トークン増加は+5%にとどまった。GLM-5では測定可能な改善は見られなかった。
SB Intuitionsのチームは、公開済みFast-WAMのチェックポイントを出発点に、Flash-WAMのアクション側consistency distillationをFast-WAM本来の推論グラフに適応させた。蒸留するのはActionDiTエキスパートのみで、学習はオフラインのLIBERO data（277,713フレーム）だけで行う。元の10ステップ方策に対し、1ステップと2ステップの推論で成功率がどこまで保たれ、蒸留で差がどれだけ縮まるかを、2,000エピソードのclosed-loop評価で検証する。
Import AI 469は、隠されたルールを探索で見つけ出す力を測る70ゲームのベンチマークDiG-benchを取り上げている。Opus 5とFable 5がClaude Code併用で最上位だが、Tier 7で解けたのは0.2にとどまり、人間は100%を達成した例がある。ほかにRSIシミュレーターと、Inherentの科学AIモデルFaradayも紹介している。
Google Researchは、大規模言語モデル（LLM）の事実誤りの多くは知識が未獲得な「空の棚」ではなく、取り出せない「失われた鍵」、つまり想起の失敗だと示した。Gemini-3-ProとGPT-5では95–98%の事実が符号化されている一方、直接想起できない事実が26–34%あり、思考を使っても11–12%で失敗する。
シンクタンクIFPが、AI研究開発の自動化リスクに備える政策案を7カテゴリー、23件にまとめた。MITとColumbiaの研究者による論文「Racing to Ruin」は、企業間で減速を協調させるには、技術開発の透明性と、相手を合理的で信頼できる主体とみなせることが鍵だと結論づけた。信頼が低い均衡では、破滅に向かう競争が確率1で起きるという。