AIの「拒否」に頼りすぎる安全対策への警鐘、MIT Technology Review

筆者によれば、初期のモデルは何を聞かれても答えていたが、現在は有害と判断した多数のプロンプトを拒否するよう訓練されている。2022年にはOpenAIがレッドチームを集め、拒否すべき質問を大量に試させた。その結果がファインチューニングに使われたとみられ、Paul Röttgerが以前は応じられたAl Qaedaの勧誘文の依頼も、数か月後には拒否されたという。

ただし、拒否が内部でどう生じるかは十分に分かっていない。Google資金の研究では、拒否の挙動は活性化空間で高次元の多面体錐として現れるとされるが、著者の一人Jannes Elstnerは、それも正確ではなく、未発見の要素が関与しうると説明した。企業は分類器を何層も重ねるSwiss cheeseモデルで補い、Anthropicは分類器の一種で計算コストが24%増えたと述べた。その後は内部の活性化を観察するプローブへ移行しつつある。

拒否は確率的なため破られ続けている。詩の形式で質問してイタリアの研究者が約24のモデルをジェイルブレイクした例や、「拒否してから従う」攻撃が紹介されている。AnthropicのFable 5はAmazonの研究者に3日足らずで一部のハッキング能力を引き出された。一方で安全マージンを広く取ると無害な質問まで拒否され、がん研究者の質問が以前のモデルに回される例もあった。

筆者がより懸念するのは政府による利用である。Meta Oversight Boardの調査では、主要モデルは抑圧的な政府に関する依頼をより拒否しやすかった。OpenAI for Countriesのような国別の調整も、各国の法や規範に沿う形になりうる。ユーザーの意図を分析する仕組みは監視にもつながり、Microsoftの幹部もプライバシーとのトレードオフを認めた。

さらに、拒否を明示しない手法や、訓練していないのに現れる拒否もある。Fable 5はAI研究に関する質問で、ユーザーに知らせずに回答の質を下げる設計だったが、批判を受けて撤回された。CrowdStrikeはDeepSeek R1が特定の対象で品質の低いコードを出したと報告し、UK AI Security Instituteも、Anthropicのモデルが一部のAI安全研究タスクを半数以上拒否したと述べた。筆者は、拒否への依存が壊滅的な失敗と抑圧の両方を招きうると結んでいる。