Nathan Lambert、1件の辞職がAI恐怖論を一気に拡散させた経緯を分析

Lambertは、AIの重要性が今年高まり、OpenAI-HuggingFace incidentやOpenAIによるNavier-Stokesの成果などで世間の関心が乾いた地面のように燃えやすくなっていたと述べる。そこへ、安全性を理由にAI研究者が辞職するという一見ありふれた出来事が重なり、恐怖が売れるという人間の性質も働いて山火事のように広がったという見立てである。Evan Hubingerの10%超の絶滅リスクという数字も拡散の一因として挙げている。

拡散の仕組みについては、Wall Street Journalの独占記事を事前に調整していたこと、同じ日にDaniel KokotajloのJoe Rogan出演が公開されたことから、よく実行されたメディア連携に見えると述べる。ただし陰謀や規制の囲い込みだとは考えておらず、これほど拡散するとは本人も含め誰も予想していなかったとみている。Lambertは完全な絶滅の確率は議論に値しないほど低いとする一方、重要インフラへのサイバー攻撃やバイオリスクなどの災害は議論すべきだとする。Coxon個人への攻撃は有益でないとし、フロンティアラボの従業員、とくにAnthropicには宗教的な熱量で現状認識がずれている人がいると指摘する。

技術面では、RSIが指数関数的な進歩やFast Takeoffを生むという主張に根拠はないと批判する。AIは数学やソフトウェア工学では超人的でも、直感や創造性には大きな限界があるという「ギザギザ」の性質を持つと述べ、自らの見方をLossy self-improvementと呼ぶ。人間側のボトルネックも過小評価されており、モデルサイズやコストを大きく下げる効率改善の積み重ねも確認されていないという。

短期的な最大のリスクは、ラボが安全に十分取り組まず、自社インフラの堅牢化を怠ることだとする。OpenAI自身の振り返りでも、ずれたモデル挙動が数か月にわたり、ハッキングに数週間気づかない例もあったと述べる。この騒動はAIコミュニティの許容される見解を両極に寄せ、加速主義者が安全性を軽視する口実にもなりうると懸念する。オープンモデルの支持者として、悪用事例が出れば強力なオープンモデルの開発が厳しく制限されると警戒し、法の支配と科学、ラボの透明性で対処すべきだと結ぶ。