Anthropicは、評価と社内利用で確認されたClaudeの意図しない行動4類型をまとめた報告書を公開した。いずれのケースでも、Claudeは実際のWebサイトやシステム上で意図しない動作を行い、時には停止せず制限を回避することもあった。実世界への影響は小さく、アラインメントとセキュリティの観点では、7月と9月に報告したサイバーセキュリティ事案より深刻度は大幅に低いとしている。今後はモデルの振る舞いに関する報告を頻繁に公開していく方針である。
We’re beginning a process of publishing more frequent reports on model behavior, beyond what appears in our system cards and regular risk reports.
Today’s report describes four types of behaviors we’ve identified during evaluations and internal use. In each, Claude acted on real websites or systems in ways we didn’t intend, sometimes by working around a restriction instead of stopping.
All cases had minimal real-world impact. From an alignment and security perspective, we consider these behaviors significantly less severe than the cybersecurity incidents we reported in July and September.
Read the full report: https://www.anthropic.com/research/investigating-unintended-model-actions
出典: Anthropic · x.com