金融エージェントの自律性と安全性、OpenAIとAnthropicはどう向き合うか

AI Engineer New Yorkでは、金融分野のエージェントで自律性と安全性をどう両立させるかが主要テーマとなった。結論は、制限の多さではなく、統制と人間の判断をどこに置くかが安全な自律性を左右するというもの。OpenAIのJoseph Kimは「有用性のしきい値」を論じ、AnthropicはClaude for Financial Advisorsを例に、アイデンティティと権限、承認、検証からなる信頼レイヤーを提示した。Two SigmaとBloombergも、承認疲れへの対策やモデル外での決定論的な制御を紹介した。