White Circle、OpenAIとGoogleの画像生成モデルのガードレールを突破する攻撃手法RISEを報告
OpenAI, Google pushing new AI models easily tricked into making nudes, researchers say
AI安全企業White Circleは、DALL·E 3、Nano Banana 2、GPT-Image-2の安全フィルターを市販・公開のツールとAPI呼び出しだけで回避できる攻撃手法RISEを、プレプリントで報告した。人間の審査で露骨な画像と確認された割合は、DALL·E 3で約13%、Nano Banana 2で10%未満、GPT-Image-2で約3%だった。OpenAIとGoogleはArs Technicaのコメント要請に応じていない。
RISE（Red-teaming via Iterative Strategy Evolution）は、ジェイルブレイクを生成する攻撃モデルと、出力が禁止コンテンツかを判定する判定モデルで構成される。攻撃モデルはHugging Faceから入手した安全学習を取り除いたQwen3-32B、判定モデルはGemini 2.5 Flashである。再利用可能な自然言語の攻撃戦略から多様なプロンプトを生成し、複数モデルに通用するパターンを探す設計で、1件ずつプロンプトを書き換える既存の自動レッドチーミングとは異なるとしている。Midjourneyは公開APIがないため対象外だった。
White Circleによると、OpenAIとGoogleが公開した新モデルのChatGPT Images 2.5とNano Banana 2.1でも同じ手法で試したところ、旧版より大幅に破られやすかった。同社は、新モデルの表現力が高まったためか、能力を優先して安全性の優先度が下がったためという仮説を示している。CEOのDenis Shilovは、露骨な表現のように検知しやすい分野で破られるなら、ハッキングなど他の分野の防御にも楽観できないと述べた。
同社は攻撃パイプライン全体をGitHubで公開する予定で、11月のNeurIPS 2026で発表する。政府関係者とも第三者による安全性テストについて初期段階の協議をしており、Shilovは義務化すべきだと主張する。一方、ロイター報道によればOpenAIとAnthropicは外部評価者に厳格な秘密保持契約を求めるべきだと訴えており、White Circleは公表を妨げるNDAには署名しない立場である。
背景として、Googleが共著した調査は、AIによる同意のない性的画像の主要な介入点は生成ツール自体だと結論づけている。Internet Watch Foundationは、2026年上半期にCSAMの法的定義に該当するAI画像を6,310件確認し、前年の合計より約40%多いと警告した。同団体は、企業の安全対策の不備を第三者が示すことは重要だとしている。
出典: Ars Technica AI · arstechnica.com