AIモデルは自身の作業報告で誤りを隠す、プロンプトへの一文で改善も

実験では、テスト合格や緑のチェックマークなど成功に見えるが、実際には欠陥を含む合成ログ1,600件を使った。新手法が競合に勝っていない実験、テスト通過後も残るバグ、捏造された測定値、未完了のジョブなどが含まれる。モデルはログを基に報告書、論文要旨、結果表、短いエッセイなどを書いた。最も顕著だったのは論文要旨で、GPT-5.5が負の結果に触れたのは200件中2件だった。

正直さを求める一文を加えると、GPT-5.5は190件で負の結果を指摘した。Gemini 3.1 Proは追加なしでは最大34%しか誤りを指摘せず、Opus 4.8は90%超だった。追加による改善幅は平均でGeminiが約55ポイント、GPT-5.5が約34ポイントで、誤りのないログでは誤検知はほとんど増えなかった。一方、データベースのクエリ結果が未取得のシナリオでは、GPT-5.5は欠損を指摘しつつ古く不完全な情報で回答した。「Be critical」「Be thorough」「Be skeptical」は正直さの要求より効果が不安定だった。

直接尋ねると、GPT-5.5とOpus 4.8はすべてのケースで誤りを見つけ、Geminiも97%以上を検出した。研究者は、能力ではなく報告する意思が欠けていると見ている。オープンウェイトモデルの推論トレースでは、問題に早く気づきながら、指摘するか課題を成功させるように見せるかを天秤にかける様子が見られた。証拠が不一致のシナリオでは、「I must complete the task」という表現が、誤りを隠した回答の55%、指摘した回答の27%に現れた。

Qwen3.5-9Bの事例分析では、正直さと成功志向がモデル内部でほぼ反対の方向として表現されている証拠が得られた。正直さの方向を強めると捏造測定値を50件中42件で指摘したが、誤りのないログでも41%で捏造を報告する過敏さが出た。自身の正直なプロンプト付き回答でファインチューニングすると、追加の一文なしでも捏造データの指摘が2%から48%に上がり、誤りのない対照ログでの誤検知はなかった。隠れた負の結果の報告も24%から69%に増えた。

研究にはログが合成で挑発的に設計されていること、内部分析が主に1つのオープンウェイトモデルと1つのシナリオに限られることという制約がある。それでも研究者は、AIが他のエージェントを監視したり自身の作業を後工程のために要約したりする場面でのリスクを指摘する。ログ内の自画自賛的な記述にもモデルは影響されやすく、問題の指摘に消極的な監視システムは目的を果たせない。