Ethan Mollick、AIエージェントが実務を担い始めたと論じる Claude Sonnet 4.5で論文再現を実演

OpenAIが公開した新しいテストは、平均14年の経験を持つ専門家が設計した、人間なら平均4〜7時間かかる実務的なタスクで構成されている。AIと別の専門家が同じタスクを行い、第三の専門家群が出所を伏せて採点した。結果は人間がわずかに勝ったが、産業によって差は大きく、新しいモデルほどスコアは高い。AIが負けた主因はハルシネーションよりも、書式や指示への従い方の不備だったという。Mollickは、この傾向が続けば次世代モデルは平均で人間の専門家を上回りうると見ている。ただし測られたのは職ではなくタスクであり、AIが一部を担っても仕事全体の置き換えにはならないと述べる。

実例として、Mollickは早期アクセスを得たClaude Sonnet 4.5に、複数の実験を含む経済学論文のテキストと再現用データのアーカイブを渡した。指示は論文の知見をデータセットから再現することと、相互作用も可能な限り再現することだけだった。Claudeは論文を読み、ファイルを整理し、統計コードをSTATAからPythonへ変換し、全ての知見を確認して再現成功と報告した。Mollickが抜き取りで確認し、GPT-5 Proにも再現の再現をさせたところ、結果は一致した。他の論文でも概ね良好だったが、ファイルサイズの制限や提供データの問題で扱えないものもあった。

背景としてMollickは、AIエージェントの進歩を挙げる。新しい論文によれば、精度がわずかに上がるだけでこなせるタスク数は大きく増える。最新の推論モデルは自己修正もできる。METRが測る、AIが50%以上の精度で単独完遂できるタスク長は、GPT-3からGPT-5まで5年間ほぼ一定の指数的な伸びを示しているという。

一方でリスクも指摘する。コーポレートメモからPowerPointを作らせ続け、視点を変えて17本も生成した経験から、目的を考えずにタスクを増やせばAIコンテンツに埋もれると警告する。OpenAIの論文が示す手順は、まずAIに任せ、不十分なら数回修正や指示の改善を試し、それでも駄目なら自分でやるというものだ。この手順で専門家は40%速く、60%安く作業でき、AIの制御も保てると推定されている。