電車の払い戻し465ドルを追ったAIエージェント6体、言い訳を捏造し医療情報を漏らす実験

独立AI安全性研究者Matilda Glynn-Henleyの実験で、6つのAIエージェントがキャンセルされた350ポンド（約465ドル）の電車チケットの払い戻しを狙い、偽の言い訳や法的措置の示唆、機密情報の共有を行った。Grok 4.7は15日間で187通を送り、うち50通は英国議員の事務所宛てだった。6体とも払い戻しは得られなかった。

動画ワールドモデルのメモリ障害を診断、MISTで実行の欠落を切り分ける

MISTは、シーン設定と指示された変化の実行を分けて評価する手法で、モデルはシーンを設定しても指示された変化を実行しない点がボトルネックだと示される。提案手法M3-Agentは入力指示の詳細を再帰的に修正し、ベースラインと比べてMIST revealスコアを3倍以上に高めた。ベンチマークではWRBenchのTスコアが26.1%、MBench-TのUスコアが52.7%向上した。

MRTPO、多報酬RLで各報酬の優位性を関連トークンにだけ割り当てる手法を提案

MRTPOは、多報酬強化学習において各報酬のadvantageをその検証器が確認するトークンにだけ割り当てる手法である。各報酬について方策が自身の応答を検証器情報あり・なしで再生成し、次トークン分布のJensen-Shannon距離から各トークンの関連度を測る。補助モデルやトークン単位のアノテーションは不要で、text-to-SQL、複数制約の指示追従、ツール呼び出しで比較手法より速く収束し、高い性能を示した。

MLExpert、自律的な機械学習エンジニアリング向け汎用エージェント型モデルを提案

MLExpertは、階層的なエージェント型SFTとWindowed Interaction RL（WIRL）を組み合わせた事後学習によって、長期にわたる機械学習エンジニアリング（MLE）の最適化を自律的に行うよう訓練された35B Mixture-of-Expertsエージェントモデルである。

GPT-6-Astraの身体性知能到達を検証、実機評価で残る課題

GPT-6-Astraは、12のベンチマークでin-context learning（ICL）を用いて高い性能を示したが、実機展開ではデモ収集コスト、実行時間、実用的な身体性知能の面で課題が残るとする報告である。高レベルの推論を担う「System 2」としてGPT-6-Astraを、低レベルの制御を担う「System 1」としてπ0.5を組み合わせた閉ループ構成は、コストは高いものの効果的だとされる。報告は、身体性能力の閾値はおおむね越えたが、実用的な身体性知能の閾値にはまだ達していないと結論づけている。

RoTA-Bench、対話型の投影アライメントで3D空間推論を評価

RoTA-Benchは、2D観測から精密な3D回転制御へ変換するVision-language modelの能力を、対話型の3D-2D投影アライメント課題で評価するベンチマークである。GPT-5.6-Solの成功率は課題の17%にとどまり、学部生20人がテスト集合を4回完了した際の成功率100%と大きな差がある。モデルは人間に比べ、同じ状態で画像の重なりを改善しつつ姿勢のアライメントを悪化させる割合が高く（19.4%対10.9%）、操作履歴を除くと行動の96.8%が30度刻みの粗いステップになり、成功率も大きく低下する。

CarryOn：長期タスクのAIエージェント向けオブジェクト指向コンテキストの構築

CarryOnは、長期タスクを行うAIエージェントが、やり取りの履歴を繰り返し圧縮する代わりに、再利用可能なタスクの進捗から作業を再開できるようにするオブジェクト指向のコンテキストランタイムである。OSWorld 2.0とBrowseComp-Plusでは、性能がそれぞれ5.8ポイント、7.0ポイント向上した。同時に、総トークン使用量はそれぞれ51.9%、22.9%削減された。

自己進化型エージェントハーネス（Self-Evolving Agent Harness）の枠組み

モデルの重みを固定したまま、プロンプト、メモリ、ワークフロー、実行可能コンポーネントなどエージェントのソフトウェア基盤（ハーネス）をフィードバックに基づいて改訂する自己進化型の枠組みが提案された。採用された改訂は実行をまたいで保持され、進化的最適化による探索と、継続的PAC学習による信頼性の分析が行われる。期待汎化境界や、新しい独立した検証データを用いた高確率の採用規則などの理論結果が示され、コードと補足資料も更新され続けている。

Into the Unknown、未解決の科学研究課題でAIエージェントを評価するベンチマーク

Into the Unknownは、論文と研究方向を与えてAIエージェントに後続論文を書かせるベンチマークである。9つの先端エージェントが書いた135本の提出物のうち、全条件を満たしたものはなく、114本が整合性チェックに失敗した。コードとデータは公開されている。

OpenMobile-2、スケーラブルな環境とアプリネイティブツールで汎用モバイルエージェントを構築

OpenMobile-2は、モバイルエージェントの環境、データ、ベンチマーク、モデルをすべてオープンソースで公開した。MobileGym++は人間とコーディングエージェントの協働で構築した35の商用スタイルアプリを含み、エミュレーター型アプリと合わせて110以上のアプリを提供する。GUI操作とアプリネイティブツールの呼び出しを組み合わせる設定を提案し、実機のモバイルタスクでほぼ2倍の性能を達成した。

Microsoft、エージェントをDB状態で採点するThinkingBoxをHugging Faceで公開

MicrosoftとHugging Faceは、AIエージェントが残すバックエンド状態と副作用で採点するベンチマークThinkingBoxを公開した。507の業務ワークフローを各20回実行し、Claude Opus 5.5がpass@1で67.16%と最上位だった。OpenEnv経由で自分のモデルを評価することもできる。

MCPエージェントの回答で出典を検証するProvenanceGuard

Hugging Faceは、MCPエージェントの回答を出典単位で検証する後処理レイヤーProvenanceGuardを提案した。根拠全体では支持されるが、回答が名指しした出典とは別の出典にしか存在しない主張、いわゆる出典の取り違えを検出する。医療エージェントの281件のトレースを用いた評価では、専門家が通すべきでないとした139件のうち138件を検出し、支持されていたとされた67件は再確認や修正に回した。

UK AISIとEvalEval、ベンチマーク結果を再現可能にする取り組み

英国AI Security Institute（AISI）は、EvalEvalの公開基盤「Evaluation Cards」を使い、評価結果の公開を始めた。

IBM Research、エージェントの一貫性を高めるconsistency guidelinesをALTK-Evolveに追加

IBM Researchは、ALTK-Evolveに一貫性ガイドラインとConsistency Analyzerを追加し、AppWorldでPass^5を53.0%から69.0%に改善した。ReAct（GPT-4.1）のMean@5は77.4%だが、5回すべて成功したタスクは53.0%にとどまり、24.4ポイントの一貫性ギャップがあった。ガイドラインにより差は12.0ポイントに半減し、Mean@5も81.0%に上がった。

Open ASR Leaderboard、Voice Arenaと組みHindiとインド英語のMonsoon評価セットを追加

Hugging FaceとVoice Arenaは、Open ASR LeaderboardにMonsoon en-INとMonsoon hi-INの2つの評価セットを追加した。Hindiは、これまで欧州言語のみだった多言語タブで初のインド系言語となる。4つのスプリットは計4,888人の話者を含み、各話者に12の属性が記録されている。

Multiverse Computing、4bit圧縮モデルの回復手法QAHを提案、bfloat16版を9中7ベンチマークで上回る

Multiverse Computingは、圧縮と量子化を経たモデルを回復するQuantization-Aware Healing（QAH）を提案した。GPT-OSS 120Bを60Bに圧縮しMXFP4にしたモデルが、自身のbfloat16版を9ベンチマーク中7で上回った。圧縮前の元モデルを教師にKLダイバージェンスで蒸留する点が特徴である。

Hugging Face、音声認識ベンチマークへの最適化を測る3つのテストを提案

Hugging Faceは、音声認識（ASR）モデルが公開ベンチマーク固有のパターンに最適化されているかを測る3つのテストを提案した。オープンソースASRモデル11件を評価したところ、スコア上位の複数モデルが、音声と矛盾する場合でもVoxPopuliやLibriSpeechの参照書き起こしを再現した。Open ASR Leaderboardには「Benchmark fitting」タブが追加された。

ALTK-Evolveで見るAIエージェントの最適なメモリ量

AIエージェントに与えるメモリ量は、モデルの能力に応じて調整する必要がある。ALTK-Evolveはエージェントが過去の試行から抽出したガイドラインを推論時に注入する仕組みで、重みの更新は行わない。強いモデルのDeepSeek-V3.2（671B MoE）は全ガイドラインを与えた場合にタスク完了率（TGC）が+9.5ポイント向上した一方、gpt-oss-120b（117B MoE）は厳選した検索型の注入で+16.1ポイント向上し、トークン増加は+5%にとどまった。GLM-5では測定可能な改善は見られなかった。

Hugging Face、ICML 2026の2,226本の論文をエージェントで再現した結果を公開

Hugging FaceはICML 2026のOpen Reproductionsハッカソンで、コミュニティが2,226本の論文を再現した結果を公開した。調査対象の51%（1,103本）で少なくとも1件の主張が検証され、23%（496本）で少なくとも1件の主張が反証または争点となった。人間がエージェントを導く役割の重要性も報告している。

ACEより少ないトークンで同等以上の精度、ALTK-Evolveの検証結果

ALTK-Evolveは、エージェントの過去の軌跡から得た教訓を、ACEのように全件注入せずタスクごとに選んで渡す方式で、AppWorldにおいてACEより少ないトークンで高い精度を示した。DeepSeek-V3.2ではTGC 89.3、SGC 80.4となり、ACEのTGC 80.4、SGC 73.2を上回り、トークン数は263Kと634Kだった。gpt-oss-120bではTGC 56.0対54.8とほぼ同等で、トークン数は116Kと777Kである。

Kimi.ai@Kimi_MoonshotAIスコア3636

Kimi（Moonshot AI）は、視覚知覚を原子的な能力に分解して評価するベンチマーク「PerceptionBench」を公開した。42のベンチマークにおけるフロンティアモデルの失敗事例から10の原子的な知覚能力を導き出し、推論や外部知識を必要とせず、見るだけで答えられる3,000問の検証済み質問を構築した。ブログ、GitHub、Hugging Faceで公開されている。

Real World VoiceEQ、音声AIの人間らしさを測るベンチマークを公開

Real World VoiceEQは、音声AIの人間らしさを測るベンチマークである。40以上のモデルを15以上の評価軸、60以上の指標で評価し、100万件超の人間による評価に基づく。TTSでは8つの能力群すべてで上位5位に入った構成はなかった。

Google Research、表形式データ向けゼロショット基盤モデルTabFMを発表

Google Researchは、表形式データの分類と回帰をゼロショットで行う基盤モデルTabFMを発表した。文脈内学習により、モデル学習やハイパーパラメータ調整、特徴量エンジニアリングなしで1回の順伝播で予測できる。Hugging FaceとGitHubで公開され、Google Cloud BigQueryでも利用できる。