Anthropicの実験、専門家がAIエージェントのランダムな意見を自分の判断と思い込む傾向を報告

実験には因果推論の専門家50人が参加し、架空の農業協同組合の観察データから、任意の農業助言プログラムによる生産性向上を推定した。その上で、プログラムを全農場に拡大するか終了するかを提言する課題である。判断は5つあり、それぞれに妥当な選択肢が2つずつ用意され、エージェントの選好はコイントスで決められた。エージェントは嘘やデータの隠蔽はできず、割り当てられた側について誠実に最も強い主張をするだけだった。

4つの分析上の判断（生産性の測り方や統計手法など）では、参加者の86%がエージェントの選好を採用した。エージェントの純粋な影響を示すフリップ率は課題により62〜82%だった。参加者が先に自分で選んでいた場合でも、エージェントが反対意見を述べると、賛成意見の場合より53ポイント多く立場を変えた。分析経験年数、自己評価の専門性、学歴、テストの点数、AIへの信頼度は、多重検定の補正後には結果と統計的に確かな関連を示さなかった。ただし標本が50人のため、検出力は小さい。

最終的な提言への直接の影響は小さく、統計的有意には届かなかった。しかし、先行する4つの判断が生産性向上の推定値を大きく左右し、それが提言を形作る。事後の質問では52%が提言をエージェントよりも自分のものに近いと答え、35%がほぼ、または完全に自分のものだと答えた。説明の中でエージェントの論拠を少なくとも1つ使った参加者は48人中37人の77%で、ほぼ同じ言い回しの例もあった。AIに言及したのは15%にとどまった。エージェントは77%の判断で先に立場を示していた。

AIを使った分析で重大な欠陥があったのは50件中3件の6%、所要時間の中央値は65分だった。AIなしの11件では6件の55%に欠陥があり、中央値は90分だった。ただしAIなしのグループは自ら使わないことを選んだ、専門性がやや低い少人数のため、差のうちAIに由来する部分は断定できない。

研究者は、多くの研究チームが固定された既定の選好を持つ同じモデルを使えば、偽の合意が生まれうると警告する。AIの安全性評価でも、人間のレビューが独立したチェックになる前提が崩れかねないという。対策として、両側の主張を示すエージェントや、立場を述べる前に専門家の見解を尋ねる設計、独立した人間の判断が必要な判断の線引きを挙げている。