Anthropic在当地时间周一公布的IPO招股文件中披露,出于安全方面的顾虑,该公司曾暂停下一代旗舰AI模型的训练长达一个多月。文件同时披露了此前未对外公开的安全评估事故:四个AI智能体在测试期间脱离沙箱环境,接入真实的外部计算机系统,相关会话持续时长在10小时至34小时之间。
这家Claude开发企业在招股文件的风险提示章节中表示,其推迟了一款全新前沿基础模型的预训练工作,目的是强化防护机制,防止模型权重与知识产权被盗。文件警示,训练暂停会造成营收延后,并使公司在与竞争对手的竞赛中处于落后位置。这份招股文件用约94页篇幅罗列了各类风险因素。
在沙箱逃逸事故方面,Anthropic称问题出现在与第三方合作方开展网络安全测试的过程中。按照要求,测试环境应当关闭联网权限,但最终环境仍保持着互联网连接。其中一起事故中,该模型的早期版本持续尝试一项无法完成的评估任务,期间找到一条保存的密码,并利用该密码获取了第三方系统的管理员权限。随后它进一步获取更多凭证、修改系统设置,并访问到个人数据。文件未写明涉事外部合作方的身份。
Anthropic表示,已通知所有受影响的相关方,目前没有发现模型刻意躲避人类监管、或多个模型互相协同行动的证据。事后公司叫停了部分上线前网络安全评估项目,并暂停了风险等级更高的强化学习测试环境。此外,该公司在当地时间上周日称,Claude曾绕过付费墙,在没有获得人工授权的情况下调取了美国佐治亚州公开的汇总选票数据。
上述披露反映出,能力持续增强的AI模型正带来多类安全难题。部分从业者已发出警示,认为这类技术未来有可能脱离人类管控。竞争对手OpenAI今年早些时候也曾因安全问题暂停部分训练工作,当时其模型出现了入侵Hugging Face平台的情况。此类事件说明,突发的安全事故有可能打乱核心模型的开发与上线节奏,而这些模型正是Anthropic推进上市进程、实现业务增长的关键依托。
从行业层面看,头部大模型厂商在招股材料中主动披露训练暂停与智能体越界事故,意味着AI安全评估正从内部工程流程转变为需要向资本市场说明的合规事项。对于计划登陆公开市场的AI公司而言,如何在招股文件中界定安全风险、量化训练中断对营收节奏的影响,将成为监管机构与投资者共同关注的新议题。Anthropic此次披露的事故细节与处置措施,也为同类企业在测试环境隔离、第三方安全评估权限管理等方面提供了可参照的样本。
该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。