AIエージェントの長期的判断力を測るTaste-Bench、最高のモデルでも正答率は約6割
研究者らは、AIエージェントが長期的な選択をうまく行う能力を「taste」と呼び、それを測るベンチマークTaste-Benchを公開した。502問を14モデルで試したところ、最高のGPT-5.6 Solでも平均59.7%にとどまった。蒸留で訓練した小型モデルの助言により、SWE-bench Proの41タスクで成功率が14.6%から33.7%に上がった。
研究者らは、AIエージェントが長期的な選択をうまく行う能力を「taste」と呼び、それを測るベンチマークTaste-Benchを公開した。502問を14モデルで試したところ、最高のGPT-5.6 Solでも平均59.7%にとどまった。蒸留で訓練した小型モデルの助言により、SWE-bench Proの41タスクで成功率が14.6%から33.7%に上がった。
The Agentic Scientist: Orchestrating Coding Agents for Automated Scientific (Co-)Discovery Blog: https://pub.sakana.ai/agentic-scientist/ GitHub: https://github.com/SakanaAI/AI-Scientist-v3 arXiv: https://arxiv.org/abs/2610.18933 Since 2024, we’ve used The AI Scientist as a way to test how far AI alone can take scientific research, from v1 to v2 to the paper published in Nature earlier this year. The Agentic Scientist is the next step in that line of work, built for the era of coding agents. Coding agents such as Codex and Claude Code now carry out long software tasks on their own. Handing them a research problem, however, tends to produce a strong hyperparameter optimizer rather than a scientist: scores go up, but ideas stay narrow, and the reasons for the gain are rarely examined. The Agentic Scientist makes the research loop explicit. It wraps off-the-shelf coding agents in a scaffold that controls what they see, what they write, how they are evaluated, and how results are handed to the next stage. Parallel workers test hypotheses against rubrics defined before any experiment runs, share successes and failures through a common memory, and then ablate the winning program to generate evidence. We used an early version of the system to study Error Diffusion, a biologically motivated alternative to backpropagation. Our researchers set the question and the rubric, chose directions at each stage, and verified the results, references, and claims before submission. The resulting paper was accepted as an oral presentation at ALIFE 2026. In autonomous runs, the system also raised Doc-to-LoRA retrieval accuracy from 52% to 98% on multi-needle tasks and designed a learned evolution strategy that improves over its CMA-ES reference on unseen tasks. Alongside it we release AutoIllustrate, a pipeline for scientific figures that keeps an editable http://draw.io file as the source of truth, so every diagram can be corrected by hand. Humans define the question and the standards of evidence; agents expand the experiments researchers can run. We call this Co-Discovery, and we are releasing both systems as open source for the community to build on.
HexaShellは、視覚情報と自作ツールで双腕ロボットを制御するコーディングエージェントであり、RoboDojoの全42タスクで成功率39.7%、進捗スコア48.0を記録して、同ベンチマークの新たなSOTAを達成したとしている。性能の限界は推論ではなく接触にあり、押す動作は92.5%、メモリ系タスクは65.0%だったが、狭い挿入は8.3%にとどまる。使用モデルはCodexとGPT-6-Astra(medium reasoning effort)で、作成したツールはオープンソースとして公開される。
MLExpertは、階層的なエージェント型SFTとWindowed Interaction RL(WIRL)を組み合わせた事後学習によって、長期にわたる機械学習エンジニアリング(MLE)の最適化を自律的に行うよう訓練された35B Mixture-of-Expertsエージェントモデルである。
FDE-Gymは、要件が曖昧で未提示の制約を発見する必要がある顧客向けの導入タスクでAIエージェントを評価するベンチマークである。18業界・20の顧客シナリオから集めた95件のエンドツーエンドのタスクを含み、7社の13構成を評価した結果、最良の構成でも平均スコアは0.56にとどまり、95件中14件しか解決(スコア0.8以上かつインシデントなし)できなかった。未提示の制約の発見が主なボトルネックであり、必要な情報をすべて得られた23件でも、0.8以上に達したのは10件だけだった。
Hugging FaceはICML 2026のOpen Reproductionsハッカソンで、コミュニティが2,226本の論文を再現した結果を公開した。調査対象の51%(1,103本)で少なくとも1件の主張が検証され、23%(496本)で少なくとも1件の主張が反証または争点となった。人間がエージェントを導く役割の重要性も報告している。
選定理由:ICML 2026の論文の約3分の1をエージェントで再現した結果と、誤った反証も含む検証過程が示され、査読におけるエージェントと人間の分担を考える材料になる。
Jack ClarkのニュースレターImport AI 464は、FableがKernelBench-Megaで18.71倍の高速化を達成したと伝えた。Remote Labor IndexではAIの成功率が2.5%から16.1%に上昇し、OSWorld 2.0では最高でも20.6%にとどまった。JDの在庫管理システムOxygen AIICと短編小説も収録している。
Googleは、Geminiで科学計算コードを書き最適化する研究ツールERA(Empirical Research Assistance)の論文をNatureに掲載した。ERAは遺伝学や公衆衛生、衛星画像解析などのベンチマークで専門家水準の性能を示したとしている。ERAとAlphaEvolveで構築したComputational Discoveryも、Gemini for Scienceを通じて段階的に提供が始まる。
Google DeepMindは、Geminiを基盤とするマルチエージェント型AIシステム「Co-Scientist」をNatureに発表し、研究者が仮説を生成・検証できる実験ツール「Hypothesis Generation」として提供する。今後数週間のうちに順次提供を開始し、研究者はlabs.google/scienceで利用登録できる。肝線維症の研究では、同システムが示した再利用候補薬の一つが、実験室試験で瘢痕化に関連する反応を91%阻害したと報告されている。