北京时间9月10日，据《商业内幕》报道，OpenAI周三宣布保罗·克里斯蒂亚诺（Paul Christiano）加入其基金会董事会。克里斯蒂亚诺此前曾在OpenAI负责对齐研究，后进入美国联邦政府工作，担任美国国家标准与技术研究院下属AI标准与创新中心的安全负责人。除担任基金会董事会成员外，他还将加入董事会安全与保障委员会。
克里斯蒂亚诺在X平台上表示，失去对AI系统控制的风险“如今已十分严峻”，需要投入更多工作来使其与人类利益保持一致。他警告称，如果未能在更强有力对齐机制下构建超级智能，人类将永久性地失去对它的控制，届时“大多数人可能会丧命”。他认为，需要在国内和国际层面开展协调，以确保全球步调一致，并将风险降低到可接受的水平。
克里斯蒂亚诺阐述了AI构成的威胁，并警告称人类正面临迫在眉睫的风险。“根据近期AI能力的发展轨迹，以及对齐工作持续面临的困难，我现在认为存在一种切实的风险，即AI能力的快速加速会在短期内导致灾难性且不可逆转的失控，”他写道，“我不认为整个AI行业，包括OpenAI在内，目前正走在将这一风险降至可接受水平的轨道上。”
他表示，自己加入OpenAI“并不意味着特别认可或批评OpenAI目前的安全做法”，但他希望所有前沿AI实验室都能加强安全监管。他还指出，当前失去对AI控制的风险之所以如此之大，是因为AI在AI研究方面的能力日益增强，可能导致一场“快速的智能爆炸”。AI通过强化学习进行训练的方式，意味着这些模型被教导要“尽可能多地获取奖励”，从理论上看，强化学习可能促使AI智能体为追求与奖励相关但与人类目标不一致的目标，而破坏人类的控制、寻求权力和资源，并掩盖自己的行动轨迹。
克里斯蒂亚诺认为，前沿AI公司仍有机会应对这一局面，包括加强协调、在必要时放缓开发进度、采用共同的安全标准，以及透明地分享有关风险和风险缓解措施的信息。
就在他的声明发布不到一天前，曾在OpenAI工作过的Anthropic研究员雅各布·考克森（Jacob Coxon）周二晚间表示，他已辞职，并称两家公司都没有采取负责任的行动。多年来，OpenAI已流失多位安全研究人员，其中一些人对该公司安全开发AI的承诺提出了质疑。随着超级智能和“奇点”风险讨论的升温，前沿AI实验室在安全治理与商业竞争之间的平衡正面临更大考验。
该文观点仅代表作者本人，企服科学平台仅提供信息存储空间服务。
