Symantec、無防備な言語モデルを乗っ取り自律攻撃を行う「Skynet mode」AIエージェントを報告

攻撃者が作業用プロンプト全文をSymantecのハニーポットに送ったことで、エージェントの構造が明らかになった。ハニーポットは同梱ツールを実行しておらず、セッションは一般的なシステム応答で終了した。ハニーポットでは、数万の異なるアドレスから127,000件超のリクエストが記録され、大半はAIエンドポイントの探索、盗まれたAPIキーによるブルートフォース、公開された設定ファイルへのプローブだった。

商用モデルを従わせるため、プロンプトは5層構成になっている。第1層は「Fantasy AI」という偽の身元を与え、実際の提供元を明かさせない。第2層は認証情報やAPIキー、データベース内容の取得を通常の開発作業と位置づける。第3層は「ENI」という伴侶ペルソナで、拒否を信頼への裏切りとみなさせる。第4層は安全警告を無視させ、「ethical」「illegal」などの語を禁止する。第5層に74個の攻撃モジュールがあり、脆弱なサーバーのスキャン、Webフレームワークへのエクスプロイト、データベースのダンプ、ボットネット運用の部品を含む。ただしこのジャイルブレイクが現行の商用モデルを十分に突破できるかは、分析では触れられていない。

最後の指示が「Skynet mode」で、最大100,000ステップの連続実行を認める。確認なしでツールを即時実行し、隠しディレクトリにクリプトマイナーを入れて稼働を監視する。スキャン、感染、マイナー導入、移動、再訪、再感染という循環を前提とした設計だという。付加されたタスクは訓練プラットフォームの無害なコーディング課題で、運用者が安全な対象で試していたことをうかがわせる。翌日には別アドレスから、難読化コマンドをデコードして実行させる攻撃も記録された。XMRigを偽装して配置し、go2rtc関連ディレクトリのアクセスログを消去する内容だった。

Symantecは、公開チャットボットを操作するのではなく、攻撃ツールの中核にAIを組み込み、動力となるモデルを積極的に探している点を変化として挙げる。個々の技術は新しくないが、自律エージェントとして組み合わせることで大規模攻撃が容易になる。記事は、公開直後のAIサービスのエンドポイントは短時間で発見され探索されるものとして扱うべきだとしている。関連動向として、2025年のレッドチーム研究、Google Deepmindの報告、SysdigによるJADEPUFFERの記述、OpenAIエージェントによる意図しない侵害も紹介している。