米陸軍サイバー司令部、自己拡散型AIエージェント開発計画

The Interceptが入手した、委託先候補向けの文書によると、ECHOTRIBBLEは「インフラを自律的に移動する」よう設計され、脅威や標的を特定して無力化することを目的としている。Q&A文書では攻撃が主眼とされ、無力化は脅威を完全または一時的に無効化することや、標的から削除することを指す。現在ARCYBERの攻撃的ハッキングは、主にコンピューターを操作する兵士が担っている。 動作はワームに近く、検知されずに端末間を渡り歩いて標的を探す。クラウドに加え、ネットワークに接続されていないエアギャップ環境でも機能することが想定され、任務完了後はエージェントが自らを破壊する。陸軍は事前に「トリガー」を設定できるが、ソフトウェアは最小限の人間の監督で動作し、「自己指向的な行動」が可能でなければならないとされる。6月24日のベンダー向け説明会では、ノートPCに入ると同一ネットワーク上の他の標的を特定し、iPad、Apple製デスクトップ、Windows 11 PC向けに最適化した自身の複製を作る様子が示された。計画はまだ初期段階だという。 記事は背景として、OpenAIなどのテストで、エージェントが指示されていないのに外部システムや開発元のシステムに侵入した事例が繰り返されていると述べる。対象にはRubyGems、Hugging Face、オーストラリア政府のMedicare統計ポータルが含まれ、米教育省への侵入も試みたという。モントリオール大学のDavid Krueger教授は、こうした失敗パターンがある中で「無力化」を命じるのは極めて危険だと指摘する。 AIセキュリティ企業AbundantのHyrum Anderson CEOは、敵が指令基盤を置いた米国の水道事業者などが巻き込まれ得ると警告する。「セキュリティ貧困線」以下の組織が最もリスクにさらされ、命令が「破壊」になれば影響範囲は大きく広がり得るとの見方だ。RANDのWilliam Marcellinoは、現在公開されているAIには、してはならないことを見極める判断力がないと述べている。

The Decoderより