Anthropic研究员Jacob Coxon近日因对AI灭绝风险的担忧而辞职,并呼吁各大AI实验室之间建立“节奏协议”(pacing agreements),以协调前沿AI模型的开发速度。这一事件再次将AI安全议题推向行业讨论的中心。
Coxon在辞职声明中表示,他担心具备自我改进能力的AI系统将迅速超越人类控制。他认为,当前各大实验室在追求模型能力突破的同时,缺乏足够的安全约束机制,这种竞争态势可能将人类社会置于不可逆的风险之中。Coxon将这一局面描述为“拿我们的生命赌博”。
“节奏协议”是AI安全领域近年来被频繁讨论的概念,指前沿实验室之间通过自愿或制度化的安排,限制模型训练规模、部署节点或能力跃升的速度,以便为对齐研究和社会适应留出时间窗口。Coxon认为,仅靠单个实验室内部的谨慎不足以应对系统性风险,行业层面的协调机制至关重要。
Anthropic是以安全为核心理念创建的AI公司,其联合创始人Dario Amodei和Daniela Amodei均出身于OpenAI,公司自成立起便将可解释性和红队测试作为模型开发的关键环节。然而,Coxon的离职表明,即使在安全导向最明确的实验室内部,研究人员对现有安全保障措施的充分性仍存在分歧。
这一事件发生在AI行业竞争加剧的背景下。OpenAI、Google DeepMind、Meta等主要参与者均在加速推进下一代模型研发,部分模型已展现出在代码生成、自主代理和复杂推理方面的显著能力提升。与此同时,关于AI灭绝风险的学术争论也在升温,包括“有效加速派”与“安全对齐派”之间的立场分化。
Coxon并非首位因AI风险担忧而离开大型实验室的研究人员。此前,OpenAI多位前成员曾公开批评公司安全文化的弱化。此类高调离职事件正在影响行业人才流动,也在一定程度上推动监管机构和公众对AI治理议题的关注。
目前,Anthropic尚未就Coxon的离职及其提出的节奏协议建议发表正式回应。业界观察人士指出,在缺乏统一监管框架的情况下,实验室间自发形成约束性协议仍面临竞争压力和执行机制的挑战,但类似讨论的持续升温或将加速政策层面的回应。
该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。