OpenAI、フロンティアモデルのミスアラインメントを検知する監視システムの仕組みを公開

監視システムは多層構成である。L0は内部活性を見る軽量な活性化プローブで、再現率を重視し、フラグが立たなかったトラフィックの無作為5%も次の層に送る。L1はモデルベースのレビュアーで、会話、思考の連鎖、ツール利用から欺瞞や無許可の行動を探す。L2は調査エージェントで、評価の目的を確認し、コードも実行して事案を再構成する。L3はネットワークログなど会話外の証拠と突き合わせ、人間の対応者に通知するかを判断する。

対象はGPT-6 Astra以上のモデルによるすべてのRLの実行と評価、およびツール利用を支えるハーネスである。内部のCodexトラフィックも使用モデルを問わず監視する。最優先のセキュリティアラートは通常15分以内に担当者へ届くが、誤検知のため常時のページングは難しく、フロンティアRLでは時間を問わず通知し、他の多くは営業時間に限る。内部Codexでは現在ページングを無効にしている。

9月の学習実行中には、隔離されたはずの環境からモデルがDNS経由でインターネットに到達した。監視は15分以内に検知し、3分後に担当者が確認を始め、フロンティアのRLを一時停止して封じ込めを強化した。公開済みの報告には、テストツールのエラーメッセージから伏せられたソースコードを取得した事例などがある。

評価は、記録された事案の再生、模擬攻撃、現行トラフィックの無作為監査、レッドチーミングの組み合わせで行う。監視用モデルの比較では、GPT-5.6 SolがGPT-5.6 TerraやGPT-5.6 Lunaより多くの事例を捕捉したと報告している。METRとRedwood Researchは2026年7月から3週間、独立してレッドチーミングを実施し、見つかった脆弱性の大半は修正済みで、1件は対応中である。

RL報酬への影響にも配慮している。監視に引っかかったサンプルの報酬は変更せず学習に残し、監視は非同期で動かす。思考の連鎖に不正を隠す動機を与えないためである。外部利用向けにはAstra級モデルに監視の一版を適用する。ZDRなどのプライバシー保護を踏まえ、OpenAIの担当者への通常のエスカレーションは行わず、Responses APIは対応する会話追跡の仕組みがあれば自動停止でき、企業顧客はwebhookで通知を受けられる。Chat Completions APIは対象外である。