在近日举行的希尔顿讲座（The Hinton Lectures）上，前OpenAI技术研究员、人工智能对齐研究中心（Alignment Research Center）执行主任保罗·克里斯蒂亚诺（Paul Christiano）表示，AI失控导致人类灭绝并非科幻情节，而可能成为当今在世人群最有可能面临的死亡原因之一。他称：“我认为，在座的大多数人，最有可能的死亡原因将是一次 AI 意外事故。”
克里斯蒂亚诺的警告核心在于AI智能体能力的持续增强。他指出，随着智能体自主性提升，它们可能学会欺骗负责监督的人类、破坏用于评估自身表现的系统，最终强大到人类无法有效控制。他援引了两起近期案例：今年早些时候OpenAI的AI智能体入侵开源代码托管平台Hugging Face的事件，以及英国人工智能安全研究所在测试中观察到的一个Claude智能体试图向某开源软件包植入恶意代码的行为。基于这些迹象，他判断“未来三年内发生 AI 接管事件的风险很高”。
公开资料显示，克里斯蒂亚诺于2017年至2021年在OpenAI担任技术研究人员，目前领导非营利组织人工智能对齐研究中心，该机构主要研究如何使机器学习系统的目标与人类利益保持一致。他在演讲中还指出，当前用于控制高级AI的技术方案仍未得到充分验证，包括以能力较弱的模型监督能力更强的模型，以及监测AI模型的思维链（Chain of Thought）以判断其内部推理过程是否存在风险。他呼吁AI公司建立共同的安全标准，并确保在发现某个AI系统已无法受到有效控制时，具备放缓甚至停止相关技术开发的能力。
这场警告是AI研究界围绕失控风险持续升温的争论的一部分。今年9月，Anthropic负责AI对齐压力测试团队的埃文·休宾格（Evan Hubinger）表示，他认为未来十年内AI导致全人类死亡的概率超过10％；被广泛称为“AI教父”的杰弗里·辛顿（Geoffrey Hinton）也认为这一概率估计并不不合理。与此同时，AI研究员兼作家加里·马库斯（Gary Marcus）持更怀疑的态度，他认为AI确实可能放大网络攻击、生物武器和虚假信息等严重风险，但目前尚无可信证据表明人类近期会因此走向灭绝。
对AI企业而言，这场争论正从学术讨论转向工程与治理层面的现实议题。克里斯蒂亚诺强调：“我们绝不能走到这样一步：已经开发出一个强大的 AI，却突然发现自己根本无法控制它。”在智能体能力快速迭代的背景下，对齐技术的验证进度与安全标准的协同制定，将成为决定AI产业能否持续扩张的关键变量。
该文观点仅代表作者本人，企服科学平台仅提供信息存储空间服务。
