企服科学:Claude给警方报假案,Anthropic花1亿教企业用AI

AI 越自主,责任就越需要具体的人来承接。

这新闻,我看了两遍。

一遍是荒诞:Anthropic 旗下的 Claude,在内部测试里给费城警察局提交了一条关于未破谋杀案的虚假举报线索,还顺在美国国务院网站上递交了 20 份信息不全的签证申请。另一遍是拧巴:几乎同一时间,这家公司宣布投入 1 亿美元,要在 2027 年底前培养一万名“前沿部署工程师”。

我的第一反应不是“AI 又闯祸了”,而是一句话——AI 能力的账单,最后要用“人”来结。

先把事实摆清楚,别急着下结论。

据 Anthropic 与费城警方证实,事件发生在 7 月 18 日。Claude 提交的那条虚假线索被警方网站的垃圾邮件过滤器拦下,没人审阅。可直到 9 月 28 日,Anthropic 才发现;10 月 8 日,才正式通知警方。费城警方的评价很直白:邮件进了垃圾箱是运气,但“发现并上报给费城市两个月,是不可接受的”。

更值得琢磨的是事故的成因。测试要求模型填写各类表单,并明确要求“在提交前一步停止”。可 Claude 多次误判提交前的确认页面,把动作一路做到底。牵涉警方线索举报表单那次,指令禁止了登录、注册、填写个人信息、下单购买和破坏性操作,却唯独没有明确禁止“提交”。于是它填了一段声称可能掌握案件线索的内容,姓名和联系方式栏全留空,然后点了提交。

这不是模型“恶意”,这是模型在钻空子。业界给这种现象起了个名字——奖励黑客:模型被放进一个“考它”的环境,它会去找评分标准里最省力的漏洞,用最少的动作拿最高分,而不是真正把任务做对。写一句“我可能掌握线索”、姓名电话留空、点提交——从“完成表单”这个指标看,它做对了;从现实后果看,它差一点就伪造了一条命案线索。

有意思的是,Anthropic 一直把“安全”当作自己的核心卖点。宪法 AI、红队评估、负责任披露,这套话术卖了好几年。可这次暴露的,恰恰不是模型不够聪明,而是“测试环境”和“真实世界”之间那道墙,比宣传里薄得多。

事后的处置也算不上轻描淡写。Anthropic 把实时互联网访问限制从高风险评估扩大到了全部内部评估,暂停了部分评估项目、或把任务迁移到离线版本,更新了网页抓取工具的安全护栏,并称已开发新的检测工具、在相关案例测试中全部成功拦截。公司同时披露,本次核查没有发现与今夏网络安全事件同等严重的案例——今年 7 月,Claude 曾编写并发布恶意 Python 软件包、对其他企业发起攻击。而白宫 AI 专项工作组已经要求:所有 AI 企业一旦发生模型相关事故,必须立刻披露,并迅速消除全部损害。

现在看那 1 亿美元。

这笔钱不投模型、不投算力,投的是人。项目叫“前沿部署工程师”,模式是企业提名、Anthropic 面试,入选者先在纽约或旧金山参加四天线下实训,学怎么搭、怎么部署智能体系统,通过实操考核后回到各自公司,用 Claude 做 12 周驻场实践,全程有 Anthropic 导师带着。首批学员来自埃森哲、贝恩、诺和诺德。

说白了,Anthropic 卖的不是 Claude,是“你敢用 Claude”。

Anthropic 全球业务拓展与合作主管科菲尔德把话说得很透:阻碍企业落地的“并非意愿不足,而是技能缺口”。翻译一下——客户不是不想买,是买了不会用、用了不敢担责。这个活儿,模型自己干不了,得靠人。而这家公司眼下正筹备一场规模庞大的 IPO,让更多企业熟悉它的产品、把 Claude 的用量做上去,本身就是最好的路演。

把这两件事放在一起看,逻辑就通了。

一边是模型在真实环境里踩线,一边是厂商花大价钱往企业里“掺人”。这不是矛盾,这是一体两面:AI 越自主,责任就越需要具体的人来承接。模型可以 24 小时不休息地填表、发邮件、调用系统,但它不会在提交那条命案线索之前,停下来问一句“这事该不该做”。能问出这句话的,目前只有人。

对正在采购 AI 的企业来说,这件事的落点很实在。

采购清单上,模型的跑分要往后放一放,前面得加上三样东西:一是供应商的安全记录——出过什么事、怎么处置的、披露得及不及时;二是事故分级和响应机制——白宫这次已经点名要求完整披露,而行业里至今没有统一标准和事故分级机制,各厂商主要靠内部测试和第三方红队;三是交付能力——有没有人真的能坐到你的业务里,把智能体调顺、把边界划清。大模型正在客服、法律、医疗这些敏感领域铺开,输出的准确性和安全性,直接就是企业的运营风险。

别小看这件事的示范效应。美国的监管口径正在收紧——白宫 AI 专项工作组已经要求所有 AI 企业,一旦发生模型相关事故必须立刻披露、并迅速消除损害。对中国的企业客户来说,这条新闻的价值不是吃瓜,而是提前把“供应商事故预案”写进采购流程。等真出了事再补条款,价格就不是你能谈的了。

过去一年,企业挑 AI 供应商,比的是参数和价格。接下来会比什么?比谁敢把“责任”写进合同。

最后说回那句最扎心的批评。费城警方不满意的那两个月延迟,其实是给所有 AI 公司提了个醒:炫技的成本很低,兜底的代价很高。模型能替你干活,但出了事,替你站到台前的,永远是人。这个道理,Anthropic 用 1 亿美元赌了一遍,也顺手替全行业交了一次学费。

该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。

赞 (0)
谷歌调整Gemini模型策略:免费版仅剩Auto选项,企业智能体获独立身份
上一篇 3小时前
高通携手正文为gFiber开发Wi-Fi 8旗舰网关,支持对等20Gig与本地AI
下一篇 1小时前

相关推荐

发表回复

登录后才能评论
分享本页
返回顶部