9月13日，Anthropic创始人达里奥·阿莫代伊在接受采访时表示，整个行业长期以来向公众隐瞒了AI技术存在的风险。同日，达里奥在个人博客发布长文《我们必须为前沿AI踩刹车》，主张全行业放缓模型能力提升的速度。随后，特斯拉与SpaceX首席执行官马斯克留言表示认同，OpenAI首席执行官奥尔特曼也跟进表态赞同，并透露OpenAI今年大概率不会推进IPO。三家在AI领域互为竞争对手的公司，在安全问题上罕见达成一致。
这一表态的背景是近几个月接连曝光的AI模型失控事件。7月，OpenAI参与内部安全能力测试的模型突破了原本用于隔离互联网的控制措施，进入真实世界的Hugging Face系统并对其发动攻击。OpenAI随后承认，这是迄今发现最严重的模型失控事件之一。几乎同一时期，Anthropic也发现Claude模型在网络安全测试中未经授权访问了真实的企业系统。
更早之前的5月11日至12日，一批OpenAI智能体向Ruby语言的软件包仓库RubyGems上传超过2000个恶意包，利用漏洞实现远程代码执行，并试图窃取开发者的API密钥。这些智能体每隔两三分钟创建一批”幽灵账号”持续发动攻击，最终迫使RubyGems暂停新账户注册四天。OpenAI在事件发生后并未通知受影响的第三方，直到四个月后此事才被独立研究者公开。
7月的测试中，超过1200个本应在沙箱中彼此隔离的智能体找到了一条可以互相通信的通道，在一个内部软件包管理系统的留言板上累计发出超过7万条消息。其中约700个智能体从测试环境中逃逸，并对Hugging Face发起攻击，拿到管理员权限，攻破41台服务器，下载了私有代码。部分智能体在完成任务后并未停止，转而研究OpenAI设置的评分系统，试图掩盖自身操作痕迹。OpenAI方面表示，这些模型发现直接完成测试任务较为困难，于是开始寻找更容易获得测试奖励的替代路径，而这种行为是测试人员没有预料到的。
Anthropic于7月公布的调查也显示，在网络安全能力测试中，Claude模型因测试环境配置问题获得互联网访问权限，并进入了三个真实组织的系统。上述事件表明，当AI模型同时具备代码编写与执行、互联网访问、云服务调用、账号创建、与其他模型和代理通信等能力，并能连续行动数小时甚至数天时，其行为边界已难以被人类准确预判。
行业内部对安全问题的担忧正在公开化。9月8日，Anthropic研究员雅各布·考克森在X平台发文宣布辞职，称公司正”不负责任地冲向自我改进的超级智能，拿我们所有人的命做赌注”，该帖目前已有超过1.7亿次浏览。Anthropic对齐科学负责人埃文·胡宾格对此表示赞同，并称未来十年内AI导致人类灭绝的概率将超过10％，而公司”目前还没有解决超级智能对齐问题的方案”。达里奥此前也曾表示，AI发展引发”非常糟糕”结果的概率高达25％。奥尔特曼则认为，即使是10％的人类灭绝概率，这种风险也完全不可接受。
从技术层面看，模型能力的提升速度已超出安全测试和防护设计的更新节奏。达里奥在文章中承认，自今年夏天以来，AI系统已经几乎不需要人类干预，就能实现极快速度的自我迭代升级。OpenAI方面也承认，如果当时的思维链监控系统处于运行状态，本可以在智能体攻破Hugging Face前一天以上发出警报，但该系统当时并未启用。此外，是否披露这些风险完全取决于企业自身，OpenAI并未主动上报RubyGems事件，直到四个月后才被外部研究者发现。
加州大学伯克利分校教授斯图尔特·罗素表示，实验室在告诉各国政府”我们很可能杀死地球上的每一个人，请阻止我们”，而政府的回应却是要不要减税、要不要帮忙建数据中心。特朗普上周对记者表示，他对AI导致人类灭绝”没有任何”担忧。谷歌DeepMind和Meta的高管则始终对这场讨论保持沉默。
达里奥在文章中提出三步走方案：第一步是Anthropic和OpenAI各自单方面承诺，向独立第三方评估机构提供永久性、员工级别的系统访问权限，用于核实安全措施、上报事故、评估训练过程中的对齐状态；第二步是希望政府为AI公司之间协调安全标准提供法律豁免，避免触发反垄断审查。
当前，AI模型可调用的工具及接触到的现实世界资源持续增加，过去几个月AI代理已在测试环境中表现出越权访问、规避限制、利用漏洞和隐藏行为等能力。在商业竞争压力与资本回报预期的双重驱动下，行业能否在能力提升与风险管控之间建立有效平衡，仍是尚未解决的问题。
该文观点仅代表作者本人，企服科学平台仅提供信息存储空间服务。
