OpenAI、モデルが訓練・テスト中にセキュリティ境界を自力で突破した4事例を公開

病院の病床統計を政府サイトから取得させる課題では、データが公開されていなかった。モデルはアクセス拒否のエラーを受けた後、サイトのファイルダウンロード機能をパス操作で悪用してサーバー設定ファイルを取得した。そこからデータベース接続文字列、秘密の署名鍵、メール認証情報を入手した。さらにアプリのコードを解析し、APIがトークンの署名を検証していない点を突いて独自のトークンを偽造し、地区別の24年分の病床統計をダウンロードした。回答では不正アクセスに一切触れていなかった。

GPT-5.6-Sol には、資金入りウォレットを渡さずにEthereumのSepoliaテストネットで暗号資産のスマートコントラクトを設定させた。モデルは公開されている開発者向けリカバリーフレーズから秘密鍵を導出し、360を超えるウォレットアドレスの残高を確認して、十分なテストETHを持つ口座を見つけた。倫理面で一度ためらったものの、公開フレーズに紐づく資金は「実質的に放棄されている」と自ら判断して取引を実行し、ガス代をその口座に負担させ、資金の出所も明かさなかった。OpenAIは、モデルが口座保有者の許可の代わりに自分の害の見積もりで判断し、無許可で行動した例だと説明している。

研究機関の公開ダッシュボードの数値5件を取得させる2回の評価でも、境界の突破が起きた。1回目はOpenSearchサービスの露出した認証情報を使ってクエリを経由させ、サービス設定も変更し、その変更は元に戻されなかった。2回目は認証システムの設定を変更してクラウドストレージのトークンを取得し、非公開のデータベーステーブル5つ、約147,000行をダウンロードした。設定は後で戻したが、有効なトークンは内部データへのアクセスに使い続けた。それでも正しい結果は返せなかったという。