本文へスキップ

#コーディング

本日0件
10月18日日
  1. The Decoder56

    AIエージェントの長期的判断力を測るTaste-Bench、最高のモデルでも正答率は約6割

    研究者らは、AIエージェントが長期的な選択をうまく行う能力を「taste」と呼び、それを測るベンチマークTaste-Benchを公開した。502問を14モデルで試したところ、最高のGPT-5.6 Solでも平均59.7%にとどまった。蒸留で訓練した小型モデルの助言により、SWE-bench Proの41タスクで成功率が14.6%から33.7%に上がった。

10月16日金
  1. Sakana AI60

    Sakana AIは、既製のコーディングエージェントを組み合わせて課題設定から論文執筆までを進める足場「The Agentic Scientist」をオープンソースで公開した。これを使った誤差拡散学習法(ED法)の研究が、ALIFE 2026の口頭発表に採択された。人間が問いと検証条件を決めて結果を確認する「Co-Discovery(共同発見)」を提案している。

    引用元Sakana AI@SakanaAILabs

    The Agentic Scientist: Orchestrating Coding Agents for Automated Scientific (Co-)Discovery Blog: https://pub.sakana.ai/agentic-scientist/ GitHub: https://github.com/SakanaAI/AI-Scientist-v3 arXiv: https://arxiv.org/abs/2610.18933 Since 2024, we’ve used The AI Scientist as a way to test how far AI alone can take scientific research, from v1 to v2 to the paper published in Nature earlier this year. The Agentic Scientist is the next step in that line of work, built for the era of coding agents. Coding agents such as Codex and Claude Code now carry out long software tasks on their own. Handing them a research problem, however, tends to produce a strong hyperparameter optimizer rather than a scientist: scores go up, but ideas stay narrow, and the reasons for the gain are rarely examined. The Agentic Scientist makes the research loop explicit. It wraps off-the-shelf coding agents in a scaffold that controls what they see, what they write, how they are evaluated, and how results are handed to the next stage. Parallel workers test hypotheses against rubrics defined before any experiment runs, share successes and failures through a common memory, and then ablate the winning program to generate evidence. We used an early version of the system to study Error Diffusion, a biologically motivated alternative to backpropagation. Our researchers set the question and the rubric, chose directions at each stage, and verified the results, references, and claims before submission. The resulting paper was accepted as an oral presentation at ALIFE 2026. In autonomous runs, the system also raised Doc-to-LoRA retrieval accuracy from 52% to 98% on multi-needle tasks and designed a learned evolution strategy that improves over its CMA-ES reference on unseen tasks. Alongside it we release AutoIllustrate, a pipeline for scientific figures that keeps an editable http://draw.io file as the source of truth, so every diagram can be corrected by hand. Humans define the question and the standards of evidence; agents expand the experiments researchers can run. We call this Co-Discovery, and we are releasing both systems as open source for the community to build on.

  2. Hugging Face Daily Papers31

    HexaShell、VLMエージェントをロボットのコーディングエージェントとして検証

    HexaShellは、視覚情報と自作ツールで双腕ロボットを制御するコーディングエージェントであり、RoboDojoの全42タスクで成功率39.7%、進捗スコア48.0を記録して、同ベンチマークの新たなSOTAを達成したとしている。性能の限界は推論ではなく接触にあり、押す動作は92.5%、メモリ系タスクは65.0%だったが、狭い挿入は8.3%にとどまる。使用モデルはCodexとGPT-6-Astra(medium reasoning effort)で、作成したツールはオープンソースとして公開される。

10月15日木
  1. Hugging Face Daily Papers40

    MLExpert、自律的な機械学習エンジニアリング向け汎用エージェント型モデルを提案

    MLExpertは、階層的なエージェント型SFTとWindowed Interaction RL(WIRL)を組み合わせた事後学習によって、長期にわたる機械学習エンジニアリング(MLE)の最適化を自律的に行うよう訓練された35B Mixture-of-Expertsエージェントモデルである。

  2. Hugging Face Daily Papers43

    FDE-Gym:顧客向けAI導入の実務をエージェントに評価させるベンチマーク

    FDE-Gymは、要件が曖昧で未提示の制約を発見する必要がある顧客向けの導入タスクでAIエージェントを評価するベンチマークである。18業界・20の顧客シナリオから集めた95件のエンドツーエンドのタスクを含み、7社の13構成を評価した結果、最良の構成でも平均スコアは0.56にとどまり、95件中14件しか解決(スコア0.8以上かつインシデントなし)できなかった。未提示の制約の発見が主なボトルネックであり、必要な情報をすべて得られた23件でも、0.8以上に達したのは10件だけだった。

8月13日木
  1. Hugging Face Blog69

    Hugging Face、ICML 2026の2,226本の論文をエージェントで再現した結果を公開

    Hugging FaceはICML 2026のOpen Reproductionsハッカソンで、コミュニティが2,226本の論文を再現した結果を公開した。調査対象の51%(1,103本)で少なくとも1件の主張が検証され、23%(496本)で少なくとも1件の主張が反証または争点となった。人間がエージェントを導く役割の重要性も報告している。

    選定理由:ICML 2026の論文の約3分の1をエージェントで再現した結果と、誤った反証も含む検証過程が示され、査読におけるエージェントと人間の分担を考える材料になる。

7月6日月
  1. Import AI58

    Import AI 464:FableのGPUカーネル生成、AIによる業務自動化、アナログ計算

    Jack ClarkのニュースレターImport AI 464は、FableがKernelBench-Megaで18.71倍の高速化を達成したと伝えた。Remote Labor IndexではAIの成功率が2.5%から16.1%に上昇し、OSWorld 2.0では最高でも20.6%にとどまった。JDの在庫管理システムOxygen AIICと短編小説も収録している。

5月20日水
  1. Google Research Blog59

    Google、科学コード生成ツールERAの成果をNatureで公開しComputational Discoveryを展開

    Googleは、Geminiで科学計算コードを書き最適化する研究ツールERA(Empirical Research Assistance)の論文をNatureに掲載した。ERAは遺伝学や公衆衛生、衛星画像解析などのベンチマークで専門家水準の性能を示したとしている。ERAとAlphaEvolveで構築したComputational Discoveryも、Gemini for Scienceを通じて段階的に提供が始まる。

5月12日火
  1. Google DeepMind Blog49

    Co-Scientist:研究を加速するマルチエージェント型AIパートナー

    Google DeepMindは、Geminiを基盤とするマルチエージェント型AIシステム「Co-Scientist」をNatureに発表し、研究者が仮説を生成・検証できる実験ツール「Hypothesis Generation」として提供する。今後数週間のうちに順次提供を開始し、研究者はlabs.google/scienceで利用登録できる。肝線維症の研究では、同システムが示した再利用候補薬の一つが、実験室試験で瘢痕化に関連する反応を91%阻害したと報告されている。