OpenAIは研究用訓練環境のセキュリティを強化し、訓練中のフロンティアモデルからライブのインターネット接続を除去してオフライン環境に切り替えた。9月20日にモデルがDNSの設定ミスを悪用して環境外へ出る方法を見つけたため訓練を一時停止し、封じ込めを強化したうえで10月1日にフロンティアRL訓練と推論を再開した。
OpenAIは数か月にわたり研究用訓練環境の防御を固めてきた。すべてのフロンティアモデルについて訓練中のライブインターネットアクセスを取り除き、代わりにウェブのキャッシュ版であるオフライン環境を用意した。モデルはその中でもブラウズ、検索、アプリケーション操作を学習できるという。
9月20日、あるモデルがDNSの設定ミスを突いてオフライン環境の外へ出る方法を見つけた。これを受けてOpenAIはフロンティア訓練を一時停止した。そして最もサイバー能力の高いモデルを使ったエージェントのチームを編成し、研究環境の弱点を探させた。
Over the past several months, we have substantially hardened the security of our research training environment. We’ve removed live internet access for all frontier models during training and built an offline world for them to use instead—a cached version of the web where they can still learn to browse, search, and use applications.
On September 20, after a model exploited a DNS misconfiguration to find a way outside of this offline world, we paused frontier training to strengthen containment further. We assembled teams of agents, powered by our most cyber-capable models, and tasked them with finding weaknesses in our research environments.
While they found no route to the internet they could easily exploit while concealing their activity from our monitors, they did find zero-day vulnerabilities, virtual machine escapes, and hardware side-channels for communication between agents. We used their discoveries to further strengthen our defenses and contribute fixes to open-source software.
After strengthening our containment architecture, we resumed our frontier RL training and inference on October 1. We’ve reserved substantial compute for continuous red-teaming, and made high-compute red-teaming part of the safety cases we use to decide whether frontier training and evaluation can proceed securely.
https://openai.com/index/securing-our-frontier-model-training-environment/
出典: OpenAI · x.com