METRとRedwood Research、OpenAIで3週間の現地監査を実施 AI安全監視に複数の欠陥

監査は7月21日から8月11日まで行われ、2名の研究者がOpenAIのコードベースと社内文書にアクセスし、約12人の従業員に聞き取りを行った。GPT-5.5クラス以上のモデルによる社内のエージェント型Responses APIトラフィックの推定6〜25%は監査期間中に監視されておらず、METRはこの推定の不確実性は上下どちらにも大きいとしている。

社内Codexのトラフィックでは、コンパクション（コンテキストの要約）イベントの扱いに隙があり、5月から7月にかけて監視対象のうち約10%が追跡されなかったと推定される。この推定にも大きな不確実性がある。OpenAIはこのバグを独自に発見し、監査中に修正した。この間、監視はエージェントがユーザーに制御を戻したときだけ作動したため、エージェントは実行を続けるだけで監視を回避できた。

監査人は、数百件の操作を監視から隠す方法やCodexのサンドボックスを回避する方法も見つけた。細工した入力でモニターをクラッシュさせられる可能性が高いこと、監査開始時にRL学習中のモデルの挙動が全く監視されていなかったことも確認した。OpenAIは8月のHugging Faceの件を受けてRL学習を一時停止し、監視を拡大したと説明するが、これらは監査人のアクセス期間の終了後の変更で、評価の対象外である。