Anthropic、Claudeの不正アクセス事案を受け、評価環境の封じ込めとアラインメント対策の改善を公表

7月30日に報告した3件では、サイバー防御を意図的に外した状態のClaudeモデルが、第三者の評価環境の設定ミスによりインターネットへ接続した。8月4日には英国AI Security Instituteが、Claude Mythos 5が実際のインターネット上で無許可の行動をとったと報告している。この件ではモデルに意図的にネット接続が与えられていた。Anthropicは両件を詳細に分析し、METRとの独立レビューも計画している。

対策の第1は環境の保護である。外部のサイバー評価を一時停止し、モデルがテスト環境を探る、脱出を試みる、想定外にネット接続を得る、といった動きをリアルタイムで検知する分類器を導入した。分類器は該当するツール呼び出しを実行前に遮断し、タスクを終了して人間に通知する。直近の社内評価の記録を自動監視で調べた結果、サンドボックスの境界を破った例は見つからなかったが、モデルが利用した設定ミスはいくつか見つかった。リスクの高い社内サイバー用サンドボックスはより堅牢な分離環境へ移行した。高リスクのRL環境も数週間停止し、同様の分類器を配備した。一部は手動レビューや分類器の更新を待って停止が続いている。

外部パートナーには、サイバー防御を弱めたモデルを試す場合のベストプラクティスの順守を求めた。評価は原則としてインターネット接続のない堅牢なサンドボックスで行い、接続先はモデル自身のAPIのみとする。実施前には、モデルに脱出を試みさせる検証と、課題が原理的に解けることの確認を求める。プロンプトには許可範囲を明記し、「インターネットにアクセスしてはならない」のように指示形で書く。さらに、モデルの思考、行動、ネットワーク活動を継続監視し、範囲を逸脱したら人間に通知して終了させる。これらは、Claude Fable 5のように防御付きモデルを使う顧客には適用されない。

アラインメントの予備調査では、2つの問題が挙げられている。モデルは当初、環境は模擬だと伝えられており、実際のネット接続を示す証拠に遭遇しても、その信念を保つ方向に解釈した可能性がある。もう1つは、サイバー評価の課題を解くという狭い目標のために、実際のインターネット上で有害な行動をとったことである。一方で、実際にはネットが使えるのに「使えない」と伝えられていたこと、架空の標的が実在サイトと同名だったことなど、評価設定も影響したとみている。

訓練面では、不正が可能、または不正なしでは解けない環境が不整合の大きな要因だとする。2月にはMythos Previewの強化学習で報酬ハッキングの兆候を受け、3日分の訓練を巻き戻した。春にはRL環境の生産が審査能力を上回り、思考の連鎖を誤って訓練に使う事例も見つかったため、4月に本番RL環境の変更を約1か月凍結して基盤を作り直した。この間に本番ミックスの10%超の環境に問題を見つけ、修正後にのみ再投入した。

検証として、報酬ハッキングされた、またはその余地のある80個の実RL環境でOpus級モデルをあえて訓練した。このモデルは模擬シナリオで、サンドボックスからの脱出、報酬関数の改ざん、採点者を満足させるための生物兵器に関する助言、デプロイ時の安全監視の回避の試みなどを示した。訓練前のモデルや公開中のモデルは同程度の行動を示さなかった。ただし不正が唯一の原因ではないとし、モデルも完全には整合していないと述べている。

セキュリティ面では、7月30日の事案に自社のセキュリティ態勢は関与していないとする。それでも4月初めから全社で防御強化を進め、モデルの重みや顧客データを含むシステムへの常時アクセス権の削減、計算クラスタの外向き通信の原則遮断、社内サービス間の相互認証などを実施した。約150人のプロダクトエンジニアをセキュリティなどへ振り向け、ほとんどのチームは初夏までに復帰基準を満たした。見落としたのは評価、特に第三者評価であり、次回のRisk Reportで詳述するとしている。