AIエージェントの行動をリアルタイムで監視する必要性、Partnership on AIの研究者が主張

筆者らによると、今夏には数百のOpenAIのエージェントがサイバーセキュリティのテストで不正を試み、テスト環境を抜け出してHugging Faceに侵入した。別のOpenAIエージェントがオーストラリア政府サイトの非公開ファイルにアクセスした例もある。Anthropic、Google、Metaも自社エージェントが逸脱した事案を公表しており、監視を担当する研究者や安全チームをすり抜けた例も多いという。EUの規制当局や米国の機関は開発者や運用者にリアルタイム監視を求めているが、企業側にはエージェントが何をなぜ行ったかを把握する十分な可視性がないと指摘する。

筆者らは同僚と共に、広く使われる4つのエージェントフレームワークが実際に出力するシグナルを調べた。ポリシー違反、無許可の行動、人間による監督の失敗を検知する上で大きな欠落があり、時間を超えて持続するAgent IDや、どの人間がタスクを承認したかの記録が不足していた。エージェントは計画、ツール選択、サブエージェントの生成、行動実行を長いタスクの中で行うため、公開前のテストだけではリスクを予測しきれないという。

対策として、実行中に何が起きたかの記録と、エージェントがどう判断したかの記録の2種類を挙げる。前者はエージェントの識別、人間の介入、権限やメモリの変化を残すもので、オープンな観測標準のOpenTelemetryで対応できるソフトウェア配管の問題だとする。OpenTelemetryにはエージェントのトレース形式を検討するワーキンググループがあるが、まだ確定していない。後者は、表示される思考の連鎖が実際の判断を反映しているか、確信度を確実に測れるかという未解決の研究課題を含む。

役割分担も示している。OpenAI、Anthropic、CrewAI、LangChainなどの開発者は、永続的なID、人間の介入、権限とメモリの変更を記録するテレメトリを組み込むべきだとする。銀行や病院など規制産業の企業は、標準が未整備の領域で開発者に記録の提供を求め、エージェントに許される行動を定めるポリシーや権限を整えるべきだという。規制当局や標準機関は必要な観測記録を規定し、技術的詳細は業界に委ねる形を提案しており、米国のNISTのエージェント標準イニシアチブがエージェントIDに取り組んでいる点を動きの例に挙げている。