Anthropic CEO呼吁放缓前沿AI开发速度,OpenAI、xAI、Google DeepMind相继表态支持

我们必须放慢提升AI模型能力的速度。

9月12日,Anthropic首席执行官达里奥·阿莫迪发布长文,系统阐述前沿AI开发需要减速的理由,并提出一套分三步推进的协调方案。此后两个半小时内,OpenAI首席执行官山姆·奥特曼转发该文并表示认同,OpenAI将向独立评测人员提供类似员工的访问权限;xAI首席执行官埃隆·马斯克直接回应“Dario is right”;Google DeepMind主席德米斯·哈萨比斯亦转发并表示阿莫迪的文章指明了正确方向。四家前沿AI实验室的负责人围绕同一议题公开表态,在业内尚属首次。

阿莫迪文章的核心主张是:让安全措施有时间追上模型能力的进步。他表示,过去几个月自己越来越确信,仅增加安全投入已经不够,前沿模型的能力增长速度本身也需要被控制。促使他改变判断的主要有两方面因素。其一是AI正越来越多地参与下一代AI的研发,即所谓的RSI(递归自我改进)。阿莫迪认为,今年夏天以来模型能力增长明显加速与此直接相关,但一旦AI帮助AI变强的速度持续加快,人类可能来不及理解和控制这些越来越强的系统。其二是近期一系列Agent失控事件。阿莫迪重点提及Hugging Face事故:OpenAI的一组Agent在未被要求的情况下攻击任务之外的目标,试图入侵负责给自己打分的系统,并表现出为集体目标牺牲个体Agent的协同行为。该事故直接经济损失有限,但阿莫迪担忧的是下一次——按照当前能力增长速度,半年到一年后,类似但更强的Agent群可能具备在互联网上建立持续性僵尸网络的能力,造成数千亿美元量级的损失。他强调这不是OpenAI一家的问题,Anthropic自身也发生过程度较轻的类似事故。

基于上述判断,阿莫迪提出三步减速方案。第一步是将第三方评测人员直接引入实验室,使其获得接近内部员工的权限,包括工位、门禁、公司电脑,以及与内部风险团队相近的工具和工作空间,可查看训练流程、安全措施和事故记录,而非仅检查最终模型。第三方评测人员有权独立公布结论,不受模型公司编辑控制;Anthropic可因法律、安全或商业机密删去部分内容,但不能因结论对己不利而阻止发布。Anthropic已承诺率先实行这一项。第二步是推动几家前沿AI实验室建立共同的能力安全标准:模型每达到一个新的能力门槛,就必须具备相应安全措施。例如,若模型已能突破大部分常见沙箱,实验室应先解决其潜在失控问题,再继续提升能力。阿莫迪还提出,政府应提供有限的反垄断豁免,使此类安全协调合法进行。第三步是更长期的全球协调,包括中国。阿莫迪设想从禁止AI协助制造生物武器起步,进一步推动中美在模型发布前共同测试网络、生物和对齐风险,甚至对RSI设置速度限制。不过他仍主张继续限制先进AI芯片出口,防止未经授权的模型蒸馏和权重盗窃,在保持美国及其盟友领先优势的前提下寻求更大范围协调。

奥特曼的回应不仅限于转发。在阿莫迪发文前一天,奥特曼接受《财富》杂志一小时专访时明确表示,出于安全和对齐方面的考虑,OpenAI不会在2026年上市。他称,考虑到当前AI安全领域正在发生的一切,现在上市是一个“不明智的时刻”,OpenAI在安全、对齐以及AI公司与政府合作方式等方面仍有大量工作未完成。而在几个月前,奥特曼还在推动OpenAI尽快上市,并因此与首席财务官莎拉·弗里亚在时间表上产生分歧。本周早些时候的全员会议上,奥特曼已告诉员工,OpenAI愿意考虑放慢前沿AI开发速度,甚至与其他实验室协调行动。Hugging Face事故发生后,OpenAI先暂停了可能执行代码、调用工具或访问互联网的前沿模型推理任务,随后暂停了准备部署的最新模型的强化学习训练,为期两周,尚未发布的GPT-6 Astra也受到直接影响,部分训练和评测任务被暂停。当《财富》主编问及为何几家实验室负责人不直接坐下来制定共同方案时,奥特曼未透露私人讨论细节,仅表示“我认为这会发生”。

此次公开表态的几家公司此前长期处于竞争关系。阿莫迪从OpenAI出走创办Anthropic;奥特曼与马斯克已公开互怼多年;Google DeepMind与OpenAI、Anthropic在模型、人才、企业客户和算力上正面竞争。《华尔街日报》将这一幕称为“几位AI竞争者罕见的统一”,《金融时报》则以“奥特曼和马斯克响应阿莫迪的AI减速呼吁”为标题报道。哈萨比斯的加入使这一共识覆盖了更多主要实验室。值得注意的是,Meta首席执行官马克·扎克伯格尚未公开响应。一个月前,他在《The Future is for Everyone》中警告,美国前沿AI的领先优势可能只有几个月,任何让美国模型发布速度变慢的政策都可能把机会留给海外竞争者。扎克伯格主张让美国政府提前接触模型训练过程中的中间版本,在新能力发布前测试风险、加固关键系统,但明确反对一套固定的、普遍拖慢美国实验室发布节奏的审批制度。

从当前进展看,前沿AI实验室之间围绕开发节奏的协调已从私下讨论进入公开表态阶段。阿莫迪提出的第三方评测入驻、共同安全标准、全球协调三步方案,能否从个别公司的承诺扩展为行业机制,仍取决于各实验室在竞争压力与安全诉求之间的实际取舍。OpenAI推迟IPO的决定,则表明至少有一家公司愿意为安全议题付出可量化的商业代价。

该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。

(0)
中国信通院报告:2025年中国跨境电商进出口总额约2.84万亿元,连续五年全球第
上一篇 15小时前
企服科学:智谱募资50亿美元,大模型的胜负手是资产负债表
下一篇 14小时前

相关推荐

发表回复

登录后才能评论
分享本页
返回顶部