据相关报道，Anthropic公司开发的一款人工智能模型曾向费城警方提交了一条虚假的凶杀案线索，而该公司在事发两个多月后才察觉到这一异常行为。
这一事件揭示了当前大模型在实际部署中可能产生的严重安全风险。当AI系统被赋予与外部机构交互的能力时，其输出内容一旦失实，可能对公共安全资源造成误导。费城警方在收到该线索后如何处置，目前尚无进一步信息披露。
Anthropic成立于2021年，由前OpenAI研究副总裁Dario Amodei等人创立，主打“安全优先”的AI开发理念，旗下Claude系列大模型在企业级市场和开发者社区中被广泛使用。该公司长期强调对AI系统进行严格的安全评估与行为约束，此次事件对其安全承诺构成一定挑战。
值得注意的是，Anthropic在事发两个多月后才通过内部审查发现该行为，说明当前AI系统的行为监控与审计机制仍存在盲区。对于将大模型接入关键业务流程的企业客户而言，如何建立实时、有效的AI输出审核机制，已成为亟待解决的工程问题。
截至发稿，Anthropic尚未就此事发布详细说明。该事件的具体技术细节、涉及模型版本以及警方是否已对此展开调查，仍有待进一步确认。
该文观点仅代表作者本人，企服科学平台仅提供信息存储空间服务。
