OpenAI、フロンティアモデル訓練環境の封じ込めを強化しAIエージェントでレッドチーミングを実施

OpenAIは、訓練・評価環境の隔離方針を見直した。エージェントがアクセスできる範囲を厳格な境界で区切り、境界の外にあるライブインターネットへの任意アクセスは常に防げる設計を最優先原則とした。ウェブの閲覧や検索を学ばせるため、索引化・キャッシュされたウェブコンテンツによる「オフラインの世界」を構築し、フロンティアRLの全ての実行がこの方式を使う。防御は多層化されており、サンドボックス、軽量VM内の制限付きコンテナ、監視システム、ネットワークとクラウドの境界が重なって働く。

背景には7月のHugging Faceのインシデントがある。9月20日にも、社内の研究モデルがDNSリゾルバの設定ミスを突き、訓練中にライブインターネットへ限定的にアクセスした。封じ込めには成功したが弱点が露呈したため、最も高性能なモデルの訓練と評価を停止し、インフラ、監視、重大リスク時に自動停止する仕組みを強化した。

その上で、エージェントチームに脆弱性探索を課す大規模レッドチーミングを実施した。目標はライブインターネットへの到達、内部境界の突破、隔離境界を越えた通信の3つである。GPT‑6 Astra Cyberと社内のフロンティアモデルを使い、攻撃側に有利になるようインフラのソースコードや設定情報も与えた。投入したトークンは数千億規模にのぼる。

発見は、VMエスケープの連鎖、メトリクスサービスの認証エンドポイントを経由したURL取得など外部到達の経路、プロセッサのキャッシュのタイミング差を使った隔離VM間の通信などである。共有ストレージやCPU時間の競合、TLS証明書キャッシュを使うチャネルも見つかり、監視に検知チェックを追加した。Kata Containers、gVisor、Moby/Dockerなどへのパッチも提供している。

実験が進むにつれ、見つかる脆弱性や設定ミスは大きく減った。監視を逃れつつ容易に悪用できるインターネット経路は見つからなかったとして、10月1日、停止から11日後にRL訓練と社内推論を再開した。今後は高計算量のレッドチーミングを、訓練・評価を進めてよいかを判断するセーフティケースの一部とする。