Clark氏、自己改善AIの予測を2027年に前倒し

TasteValは、研究の良し悪しを見極める「リサーチテイスト」のうち、実験の設計と結果の解釈の2つだけを測る。研究課題の選択はあらかじめ固定されている。8つのタスクは訓練データ選択、言語モデルの事前学習とファインチューニング、人間の選好に基づく学習、敵対的プロンプトへの防御などを含む。実験はNVIDIA H100 GPU 1基で、40 GPU時間または実時間120時間を上限に実行される。人間のベースラインは、OpenAI、Google DeepMind、NVIDIA、Microsoft Researchなどに最近在籍した専門家24人が作り、タスクごとの最良の試行が基準になった。 P-Zero Researchはリサーチテイストを計算効率に置き換えた。専門家と同じスコアに届くまでに必要な計算量が半分なら、テイストは2倍とみなす。この比が計算量の乗数で、Opus 5.5は2.3、統計的な範囲は1.15〜4.37だった。1回の実行コストは専門家の試行の平均約30分の1である。乗数は2025年12月以降、おおむね3か月ごとに倍増しており、倍増期間の幅は1.7〜5.0か月と大きい。それ以前の伸びははるかに緩やかで、2025年から2026年への変わり目に傾きが急になった。 著者自身も、結果はテイストの向上速度を過大評価している可能性があると認めている。タスクは素早く安価に検証でき、AIラボが最適化しやすい種類であり、比較対象に最上位クラスの研究者は含まれていない。Clarkは以前、創造性がAIの自己改善速度を左右すると述べ、今年前半にはモデルがその能力を大規模には示していないと書いていた。5月の長文では、自ら強い後継を訓練するシステムの確率を2028年末までに約60%、2027年までに30%としていた。ベンチマーク首位のモデルを持つ企業の共同創業者による予測であり、バイアスがかかる点も指摘されている。 研究者のHerbie Bradleyは、モデルが若手研究者の仕事を担う可能性はあっても、リサーチテイストや創造性、長期の研究計画は見えていないと反論していた。TasteValは実験の計画と評価についてはこの見方に異を唱えるが、長期の研究アジェンダの選択には触れない。復旦大学のチームによる研究では、AIエージェントが方法論の提案の最大55%に貢献した一方、最終判断の85%超は人間が下していた。 議論の背景として、Anthropicは6月にRSIは未達成だが「多くの機関の備えより早く来うる」と述べた。Dario Amodeiは制御された減速を求め、OpenAIは完全自律のRSIはまだ起きていないとし、人間の監督が保証される場合に限るべきだとしている。傾向が他のテストでも続けば、AI開発は速く安価になる一方、モデルが自らの実験を計画・評価するため、人間が検証しにくい研究の割合が増えうる。

The Decoderより

推移を表示するための継続的な観測データがまだ足りません。