Ethan Mollick、Gemini 3を実作業で検証 GPT-3から3年のAI進化を示す

Mollickは、ChatGPT登場直前に書いたGPT-3の記事のスクリーンショットをGemini 3に渡し、「何かを作って進歩を示して」と一度だけ指示した。Geminiは「キャンディ駆動のFTL宇宙船でカワウソから逃げる」という当時の題材を、遊べるシミュレーターゲームとして実装した。ただし筆者は、この程度は読者なら想像がつくとして、より重要なのは別の使い方だと述べている。

Gemini 3と同時にGoogleはAntigravityを公開した。Claude CodeやOpenAI Codexに近いコーディングエージェントのツールで、Inboxに複数のエージェントへ仕事を振り、許可や助けが必要な時に通知を受ける仕組みである。筆者は自分のニュースレターの全記事が入ったディレクトリを渡し、AIについての予測一覧と、その当たり外れをウェブ検索で確かめるサイトを依頼した。Gemini 3はファイルを読み、計画を提示し、承認後にウェブ調査、サイト作成、ブラウザでの動作確認まで進めた。筆者が気づいたハルシネーションはなく、修正は判断の違いや意図の誤解が中心だったという。

もう一つの試験は「博士レベルの知能」である。10年前のクラウドファンディング研究の雑多なファイルとSTATA形式のデータを渡すと、破損データの復旧と整理を行った。続けて「独自の論文を書いて」と指示すると、ヒントなしでテーマを選び、仮説を立て、統計検定を行って14ページの論文を出力した。自然言語処理でアイデアの独自性を測る指標も自作したという。

評価は、有能な大学院生の仕事としては通用するが、統計手法の不十分さや証拠を超えた理論化といった弱点もある、というものだ。学生に与えるような余地のある助言を出すと大きく改善したとも書いている。筆者は、チャットボットの時代がデジタル同僚の時代へ移りつつあると位置づけ、なお管理者の指導と確認は必要だとする。末尾にはエージェントにPCへのアクセスを与える危険への注意も添えている。