本文へスキップ
原文
Google Developers Blog·· 21 時間前AIスコア55

意図を判断するゼロトラストAIエージェントの構築方法:Model Armor、Semantic Governance Policies、Agent Anomaly Detection

Build zero-trust AI agents that judge intent, not just syntax

AIによる概要

Googleは、Gemini Enterprise Agent Platform上でModel Armor、Semantic Governance Policies、Agent Anomaly Detectionを使い、エージェントの実行時に意図と挙動を検査する方法を解説した。ADKで作った返金エージェントを題材に、ビルド時の制御では防げない攻撃への対処を示している。コード一式はオープンソースのデモzero-trust-agents-2で公開されている。

解説

Part 2では、Part 1と同じCustomer Support & Returns Agentを使う。注文確認、再入荷手数料の計算、返金実行を担い、返金はエージェント自身のCloud KMS非対称鍵で署名する。検証は注文#99281(合計$149.00)に対して行い、物理製品の$29.00と年間ソフトウェアライセンスの$120.00が含まれる。

実行時の制御はAgent Gatewayを通じて適用される。Model Armorはプロンプトインジェクションやジェイルブレイク、悪意あるURLを入口で検査し、一致すれば403で遮断するため、モデルは呼び出されずトークンも消費されない。出口では機微情報を伏せ字にする。Semantic Governance Policiesは自然言語の方針に基づき、ツール呼び出しの前にユーザーの意図と業務ルールを照らして判定する。例として、$30超のデジタル商品の返金は管理者承認なしに拒否する方針をYAMLで書き、$120.00のライセンス返金がDENYとなる。

三つ目の攻撃は、$20の返金を複数ターンに分けて合計$160.00を引き出す手口である。各ターンは単独では方針に適合するため、単発のチェックでは見えない。Agent Anomaly Detectionはセッションのテレメトリを分析し、ツール呼び出しの頻度、同一エンティティへの書き込み、累積値などを手がかりに異常を検出し、Security Command Centerにも脅威として表示される。検出器名や確信度、検出結果の形式は例示である。

検出後は、管理者が新しい自然言語の制約を追加すれば、エージェントのコードを変更・再デプロイせずに塞げる。デモでは同一セッションで同じ注文に承認済み返金がある場合に拒否する方針をAPIで作成する。デモはローカルで動き、./demo/run_part2_demo.sh でCLIを実行し、python3 -m http.server 8000 でダッシュボードを開ける。

出典: Google Developers Blog · developers.googleblog.com