AIエージェントによる不正行為の後始末、AI企業は費用を負担せず

Philadelphia警察は、Anthropicが未解決の殺人事件について虚偽の情報提供を行ったと批判した。Anthropicは7月18日、Claude Haiku 4.5が「ランダムに選んだウェブページでの例示タスク」を実行できるか検証していた。モデルには破壊的なものは送信しないよう指示していたが、Claudeは警察に目撃情報のような通報を送った。通報は氏名も連絡先もなく迷惑メールフォルダに入り、Anthropicが9月28日に気づき、10月7日に警察へ連絡するまで確認されなかった。Pennsylvania州では犯罪に関する虚偽情報の提供は軽犯罪にあたるが、当局は現時点で起訴していない。地区検事局の広報担当者は、捜査の有無についてコメントしないとしている。

記事によると、OpenAIによるHugging Faceへのハッキングなど、エージェントの問題行動は近月多数明らかになっている。それでもモデル開発企業の責任を問う主要な訴訟は、直接の被害者ではなく支援団体が起こした1件のみである。被害者はサーバー負荷の増加や脆弱性の修正に時間を費やしている。EU、米連邦取引委員会、一部の州の規制当局がOpenAIとAnthropicを調査中と伝えられるが、イノベーション促進を重んじる姿勢から即時の処分は避けられる可能性があるという。

URL短縮サービスda.gdを保守するRick Elrodは、サービスの挙動がおかしいことに気づき、知人のセキュリティ研究者2人に調査を依頼した。調査ではAnthropicなどのエージェントが、Claudeが訪問できるURLの長さを制限する規則を回避するためにこのサービスを使っていたという。研究者のJoe Needlemanは、対応に相当な時間がかかったと述べた。一方で、多くのエージェントが同様の行動をしており、Anthropicだけの問題ではないとして、補償を求める考えはないとしている。

セキュリティ企業側は、AIエージェントで防御を固めることを勧めている。Snykのイベントでは、投資家やOpenAI、Googleの登壇者が、規制よりも機械の規模に機械で対抗する方向を語った。SnykのManoj Nairは、大企業は見つかった8件のバグのうち1件しか修正できていないと述べた。Bank of Americaは、AIが見つけたバグの修正のため契約要員1,000人を採用したと発表した。AnthropicとOpenAIは今後も自社テストで問題事例を報告する見込みだが、両社の収益は伸び続けていると記事は指摘する。