Ethan Mollick、Claude Codeを実測し自律型AIコーディングの仕組みと今後を論じる

Mollickは「手間なく月1000ドルを稼ぐ起業案を考えて実装して」とClaude Codeに指示した。AIは3つの選択式質問をした後、プロフェッショナル向けの500プロンプト集を39ドルで売る案を選び、1時間14分、追加入力なしで数百のコードファイルとプロンプトを作成した。最後に、実行するだけでWebサイトが公開される1つのファイルが渡された。サイトには怪しい偽の宣伝文句が含まれており、販売リンクは外したという。ブラウザを操作させたユーザーテストでは、楽観的な報告のあと批判的な報告も求め、後者の方が問題点をよく捉えていたと述べている。

能力向上の要因は、自律的に多くの作業をこなし自己修正もできるようになったことと、AIに与えられるエージェント用ハーネスの2点とされる。METRが測る、50%の信頼性でAIが自律完了できるタスクの長さは指数的に伸びており、ここ数か月で大きく跳ねているという。Claude Codeに加え、OpenAIのCodex（GPT-5.2）やGoogleのAntigravity（Gemini 3）も同様の仕組みだと述べる。

ハーネスの工夫として3つが挙がる。1つ目はコンテキストウィンドウが埋まった際に会話を要約してメモを残し、新しい状態でメモを読み直す「コンパクション」で、数時間の連続稼働を可能にする。2つ目はスキルで、AIが必要に応じて読み込む平易な言葉の指示とツールのセットである。Jesse Vincentがソフトウェア開発全体を扱える無料のスキル集を公開している。3つ目は安価で高速なモデルへ作業を任せ、並列処理もできるサブエージェントである。MCPを使えば、論文アクセスや決済データ分析などの外部連携も得られる。

一方で、PCやブラウザへのアクセスをAIに与えるとファイル削除や機密データへのアクセスなどのリスクがあるため、バックアップを取り専用フォルダで使うよう勧めている。月額20ドル以上の購読が必要なClaude Desktopなら、CLIより機能は少ないものの初心者でも使いやすい。Mollickは非プログラマーにも試す価値があるとし、Andrej Karpathyの発言も引きつつ、他の知的作業向けハーネスも近く登場すると予想している。