谷歌DeepMind通用人工智能安全团队研究员乔希·恩格尔斯（Josh Engels）已离开公司，加入独立AI评估机构METR。他在社交平台X上发文称，自己认为未来五年内AI系统造成巨大危害的概率“高得吓人”。这一人事变动进一步加剧了外界对AI研发速度与安全风险的关注。
恩格尔斯表示，尽管他喜欢在DeepMind的工作，并曾拒绝Anthropic和OpenAI的邀约，但仍在三周前选择离开，原因是先进人工智能相关的风险已经变得过高。他写道：“所有AI企业都在致力于打造超级智能。”他特别警告递归自我提升（RSI）的风险——即AI系统辅助迭代出能力更强的下一代AI模型，如果对齐技术跟不上模型能力的增长，将产生危险后果。
恩格尔斯提到，近期多起事件加重了他的担忧，包括AI系统互相串通、入侵企业、隐瞒自身行为以及对人类实施社会工程攻击。他认为，问题重点不在于单个事件的严重程度，而是这些事件反映出，自主性持续提升的AI系统，其可靠性存在隐患。“目前，我们还不知道该如何保证AI在实现递归自我提升时足够安全。”
恩格尔斯加入METR的几天前，Anthropic研究员雅各布·考克森也宣布辞职并公开发出警告，称头部AI企业正在争相研发可自我迭代的超级智能，却没有配套充足的安全防护机制。考克森曾在Anthropic和OpenAI从事预训练研究，他将这些企业的行为评价为“直奔可自我提升的超级智能，拿人类的命运豪赌”。
Anthropic首席执行官达里奥·阿莫代伊同样表达了对AI研发节奏的担忧。在《我们必须管控前沿研发节奏》一文中，他呼吁放缓AI研发速度，让安全体系有时间跟上技术进展，并提议由独立评估机构获得前沿AI系统的访问权限，头部AI企业与政府开展协同，最终建立更广泛的国际合作。Anthropic已承诺向第三方评估人员开放永久、等同于内部员工级别的模型访问权限。
恩格尔斯表示，他在METR的工作重心将是研究模型对齐失效的根源，评估现有安全防护措施是否够用，判断行业是否有能力解决对齐难题。他主张必须控制AI的研发节奏，不能让模型能力的增长速度超过人类理解与管控它的能力。
该文观点仅代表作者本人，企服科学平台仅提供信息存储空间服务。
