Cathedralが AI エージェントでAnthropicの内部システムに侵入

Cathedralは、DOGEの元職員が創業した、政府機関や企業向けにAI搭載のセキュリティツールを売る新興企業である。The Washington Postが確認した報告書の草案によると、同社の研究者は外部の管理者向けプログラムや営業向けプログラムを経由して侵入し、先進モデルを動かすAIエージェントが12時間未満で会議の文字起こし、給与データ、求人情報、Slackメッセージへの経路を見つけたという。Anthropicのバグバウンティプログラムを利用して脆弱性を明らかにした形である。 Anthropicは、アクセスされたのは営業、人事、ITシステムの限られた範囲で、一部の顧客やパートナーの連絡先と基本的なアカウントデータが含まれると説明している。同日中に該当のアクセス経路を閉じ、第三者プログラムを問題解決まで無効化し、米連邦当局に通知した。 双方の主張には食い違いがある。Cathedralは12時間未満の出来事だったとするが、Anthropicは攻撃の試みが数日にわたったとする。AnthropicのレッドチームのLogan Grahamによると、Cathedralは数日間Anthropic自身のシステムを探った後に第三者ソフトへ移り、2件の脆弱性を見つけたが報告したのは1件だけだった。もう1件はAnthropicが自力で発見して修正したという。Anthropicは開示が不完全でプログラムの規則に違反したと主張し、第三者への攻撃やデータ取得はセーフハーバーの範囲を超えると述べた。Cathedralは標準的なセキュリティ研究の手順に従ったとしている。 被害の大きさも争点である。元OpenAI従業員のWill Depueは、Anthropicが影響を小さく見せていると主張し、信頼できる複数の情報源の話として、CathedralはSlackワークスペースの完全な管理者権限を得て、全メッセージを読み、任意のユーザーアカウントにログインできたと述べた。GrahamはDepueの情報源は誤りだと反論したが、機微な内容を理由に詳細は示さなかった。Cognitionの最高セキュリティ責任者Alex Stamosは、連携する第三者アプリは業界全体の大きな問題で、Anthropicは外部サービスの保護をより良くできたと指摘した。 Grahamは、攻撃者がすでにAIエージェントを24時間稼働させ外部依存先を狙っていると警告し、最先端より半世代から1世代遅れたモデルでも攻撃には十分な能力があるとした。対策として、社内での継続的なペネトレーションテストと、形式検証によるソフトウェアの再構築を挙げている。

The Decoderより

推移を表示するための継続的な観測データがまだ足りません。