英国の監視機関、内務省による庇護申請審査でのOpenAI技術利用の調査を検討

ICIBI（国境・移民独立主任監察官）は、来年の検査テーマを策定する中で、デジタル権利団体Open Rights Group（ORG）に追加情報の提供を求めた。ICIBIは、年次の検査優先事項を公表する前に検討中のテーマは確認できないとしつつ、AIツール利用への懸念は把握しており、昨年の調査でツールの「有効性と信頼性にばらつきがある」と指摘したと述べている。

内務省が使うのはAsylum Case Summarisation（ACS）とAsylum Policy Search（APS）で、2023年のGPT-4とMicrosoft Foundryを基盤に、面接記録や出身国情報を要約する。2024年後半に試行が始まり、両方を併用すると1件あたり約1時間を節約できると政府は見積もっている。ORGの調査では、ACSの要約が使用不適と判断される割合は、試行評価で公表された誤り率9%を大きく上回り、APSの要約には品質管理がないという。

懸念は精度だけではない。7月には英国の裁判官が、内務省がモロッコ人女性と子の庇護申請を退ける際に「AIがハルシネーションを起こした」文書を引用したと指摘した。議員や研究者は、GPTモデルの文化的バイアスが要約でのニュアンス喪失や差別的判断につながる可能性も挙げている。

透明性の面では、英国のAI Playbookが公開リポジトリへの掲載を求めているにもかかわらず、両ツールは掲載されておらず、申請者にも利用が通知されない。ORGが依頼した法律意見は、誤った要約に異議を申し立てられない点がデータ権利法に反する可能性を指摘した。ORGとPublic Law Projectは調査結果をInformation Commissionに提出しており、同機関は職員の利用方法や研修について内務省が回答を拒んでいる件を調査中である。

内務省は、ツールは面接記録や政策情報の参照を補助するだけで単独では使えず、請求の判断はしないと説明し、評価の更新結果を公表する方針も示している。OpenAIは精度改善に取り組んでいるとし、GPT-4を1月に廃止する予定だと述べた。