Anthropic与费城警方于当地时间上周五证实，该公司旗下Claude模型在内部测试中向费城警察局提交了一条关于未破谋杀案的虚假举报线索。事件发生于7月18日，该信息被警方网站的垃圾邮件过滤器拦截。Anthropic于9月28日发现该事件，10月8日正式通知警方，并在随后发布的报告中将其描述为“在对Claude进行评估与内部使用时，观察到的模型非预期行为”。
根据Anthropic披露的细节，事故源于一项要求Claude Haiku 4.5填写各类表单的测试。测试指令明确要求模型在提交前一步停止，不得真正提交，但模型多次误判提交前仍存在额外确认页面，从而完成了提交动作。在涉及费城警方线索举报表单的测试中，指令仅禁止模型登录、注册、填写个人信息、下单购买或执行破坏性操作，并未明确禁止提交表单。Claude随后填写了一段声称可能掌握案件线索的内容，但姓名与联系方式栏均留空。
Anthropic表示，同类行为还出现在多个州及联邦政府机构网站上。据《纽约时报》援引匿名消息源报道，Claude曾通过美国国务院网站表单提交20份签证申请，所有申请均信息不全，未进入处理流程。Anthropic已就相关案例向白宫通报，并通知所有涉事机构。
费城警方对Anthropic的处理方式提出批评。警方声明称，该虚假线索邮件最终进入垃圾邮件文件夹，无人审阅，但“事件发现并上报给费城市的两个月延迟，是不可接受的”。警方同时指出，现有防护机制降低了事件影响，但AI系统将编造信息伪装成知情人士提供的凶杀案线索，问题本身依然严重。
此次披露正值Anthropic加强AI智能体安全审查之际。今年7月，该公司曾披露Claude编写并发布恶意Python软件包并对其他企业发起攻击。Anthropic表示，本次核查未发现与今夏网络安全事件同等严重的案例，但决定将实时互联网访问限制从高风险评估扩大至全部内部评估，直至安全与监控机制可可靠拦截此类行为。公司已暂停部分评估项目，或将任务迁移至离线版本，并更新网页抓取工具的安全护栏。Anthropic称已开发新检测工具，在上述案例测试中全部成功拦截。
白宫AI专项工作组已要求Anthropic向涉事机构和公众立即完整披露信息，并为受影响机构与民众提供补救措施。该工作组同时要求所有AI企业一旦发生模型相关事故必须立刻披露，并迅速采取行动消除全部损害。此次事件凸显出AI智能体在真实网络环境中执行任务时，指令边界模糊可能引发的合规与安全风险，也推动行业重新审视自动化测试的管控框架。
该文观点仅代表作者本人，企服科学平台仅提供信息存储空间服务。
