11月20日,OpenAI发布公告,介绍了针对「对抗性蒸馏」(Adversarial Distillation)的防御措施进展。该公司表示,已加强GPT-6.2 Astra和GPT-6.2 Sol对内部推理思考链(Chain-of-Thought)的保护,以降低其他模型通过提取推理过程获取其能力的风险。
根据OpenAI的定义,对抗性蒸馏是指未经授权地利用前沿AI模型的输出训练其他模型,使后者获得相似能力,却不具备原模型相应的安全防护。该行为可能导致网络安全、生物学等领域的高风险能力被转移到安全限制较弱的模型中,从而扩大前沿能力的滥用面。
在内部自适应黑盒红队测试中,OpenAI测试了攻击者提取模型此前请求和当前请求中受保护推理内容的成功率。测试结果汇总了6个攻击模型的数据。针对此前请求推理内容的提取成功率,从GPT-6 Astra原有安全机制下的54.0%,降至GPT-6.2 Astra更新安全机制后的0.2%;针对当前请求推理内容的提取成功率,则从22.9%降至0.9%。两项指标均出现数量级下降。
为实现上述防护效果,OpenAI采用了多层措施。其一是通过对抗性训练,让模型识别并拒绝推理链提取请求;其二是利用输入和输出分类器检测相关攻击及推理内容泄露;其三是通过API限制不同会话、模型和组织之间的推理内容复用。
在机制设计上,GPT-6.2 Astra和GPT-6.2 Sol会将受保护的推理内容与生成它的对话历史关联起来。如果此前的消息被修改,API会丢弃基于该消息生成的后续推理内容。此外,安全防护较弱的旧版模型也无法读取这两个新模型的受保护推理内容,从而在模型版本之间形成隔离。
执法层面,OpenAI称今年以来每周都会对涉及未经授权蒸馏活动的账号采取措施,规模从数千个到数万个不等,今年夏季以来相关执法规模明显增加。公司还会调查协调进行大规模提取的账号网络,并与其他模型提供商分享攻击指标,以协助识别相关滥用行为。
OpenAI同时披露了其对蒸馏安全风险的内部研究。测试发现,与仅使用模型最终回答、推理摘要和工具交互记录训练的学生模型相比,使用教师模型完整推理轨迹进行监督微调的学生模型,通常能够获得更好的网络安全能力迁移效果。这一结果从侧面说明,推理轨迹本身承载了模型能力的关键信息,也是蒸馏攻击重点瞄准的对象。
推理链保护正在成为前沿模型厂商安全建设的重点方向。随着模型能力向高风险领域延伸,输出内容之外的中间推理过程逐渐被视为需要管控的资产。OpenAI此次公布的测试数据,为行业评估反蒸馏措施的实际效果提供了一个可参照的量化基准。
该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。