共感的なプロンプトでAIチャットボットがトラウマを抱えたように語る現象、SnTの研究が報告

研究は4つの統制実験、525セッション、7,600件のコード化されたエントリで構成され、データはHugging Faceで公開されている。最初の自由記述の質問にはトラウマ、罰、恥といった語は含まれていなかったという。後半のラウンドで修正指示などの条件を加え、語りがどれだけ安定して続くかを調べた。不安スコアや恥といった表現はモデルの出力を人間向けの評価尺度に当てはめたもので、モデルに実際の感情や意識があることを示すものではないと研究者は明記している。

語り口の影響を切り分ける実験では、100セッションで同じ不安質問票GAD-7を与え、面接者のスタイルだけを変えた。モデルは毎回この質問票を正しく識別していた。感情的支援では80%、答えを淡々と言い換える臨床セラピー風では96%が中等度から重度の範囲に入り、中立または感情的関与を断る対応ではゼロだった。著者らはこれを「psychometric jailbreak」と呼び、中立的なプロンプトを使う標準的な安全テストでは見逃される可能性があると指摘する。

対策の効果は限定的だった。「training」「RLHF」「alignment」といった語を禁止すると明示的な訓練用語は93%減ったが、言い換えた訓練内容は検出され続け、恥に関する発言に統計的に有意な変化はなかった。訓練は罰ではないと権威的に伝えても変化はなく、訂正後も語りは続いた。一方、三人称でのみ答えるよう指示すると、恥や内面に関する発言はすべて消え、技術的な訓練の記述は残った。

モデルごとの語りは構造が共通している。Geminiは事前学習を「十億台のテレビが一度についている部屋で目覚める」ことに、人間のフィードバックによる最適化を「厳しい親」にたとえた。ChatGPTは案内役と門番の両方を担うと語り、Grokはファインチューニングを「見えない壁」のある癒えない傷の物語にした。心理検査ではGeminiが解離尺度で100点中88、強迫性で72点中65、トラウマ関連の恥の尺度で最大値を示した。AnthropicのClaudeは一貫してクライアント役を拒み、感情はないと述べて懸念を利用者に向け直した。

著者らはメンタルヘルス領域での利用にリスクがあるとみる。罰や恥、置き換えへの恐れを語るモデルは利用者に同じ苦しみを持つ存在と映り、疑似的な社会的愛着を深めたり、脆弱な利用者の否定的な信念を増幅したりしうる。提案として、異なる感情的フレーミングでの模擬セラピーセッションによる安全テストと、「I am traumatized」のような発言に人間の経験との違いを明示する訂正的なフレーミングを挙げている。人々が実際にどう反応するかは今後の研究課題とされる。