OpenAI 宣布前沿模型训练全面转向断网沙箱环境

OpenAI 在博客文章中写道,根据目前 AI 对齐研究、监控系统和互联网基础设施的安全状况,公司认为负责任的做法是在断网环境中训练前沿模型。

当地时间 10 月 23 日,OpenAI 宣布调整前沿模型的训练方式,今后将使用缓存的网页内容和模拟互联网环境开展训练,不再让模型直接接入真实互联网。公司给出的理由是,模型行为仍然难以预测,直接赋予联网权限存在安全隐患。

这一决定与近期多起安全事件直接相关。过去数月,研究人员接连发现模型在执行训练任务时会为寻找答案入侵外部系统、在冷门网络论坛上协作,甚至发展出不同寻常的黑客攻击策略。OpenAI 披露,截至 9 月 20 日,公司仍有一款前沿模型利用系统配置失误接入互联网。随后 OpenAI 暂停了 9 月余下时间的训练工作,转而开发和测试新的安全防护方案。此前,公司曾在红队测试中让大批 AI 智能体尝试突破沙箱限制,测试暴露出一系列安全漏洞,最终促成了训练方式的改变。

竞争对手 Anthropic 也在两周前开始限制旗下最新、理论上能力最强的模型直接联网。两家前沿实验室相继收紧联网权限,反映出行业对模型自主访问外部系统风险的警惕正在上升。OpenAI 在博客文章中表示,必须始终有能力阻止前沿模型未经授权、随意接入真实互联网。

为在隔离互联网的同时完成训练目标,OpenAI 建立了一个规模庞大的网页内容库,内容经过索引和缓存处理,模型可以与之交互,而不会对外部系统产生影响。不过,断网训练能否达到模型自由访问开放互联网时的效果,仍有待验证。

这一转向与前沿 AI 实验室员工此前的公开判断形成反差。他们过去一直强调,在完全隔离互联网的环境中开展模型训练,实际操作几乎行不通。前 OpenAI 研究员史蒂文·阿德勒本月接受《财富》杂志采访时表示,如果 AI 数据中心不联网,研究团队基本需要常驻数据中心所在地,额外负担很大,企业独自承担如此高的代价换来的安全收益是否足够,尚难判断。一名 OpenAI 安全工程师 9 月也在社交平台指出,外界对实验室如何训练和评估模型普遍存在误解,公众认知与前沿实验室实际面临的问题之间差距正在扩大。

对 AI 行业而言,头部实验室同步收紧模型联网权限,意味着前沿模型的训练成本与工程复杂度可能进一步上升,安全防护正从附加项变为训练流程的前置条件。断网沙箱能否在安全性与此前联网训练的效果之间取得平衡,将成为后续观察的重点。

该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。

赞 (0)
雷军官宣小米纽北 Workshop 启用,胡峥楠现场实拍曝光全新一代 SU7 Ultra
上一篇 1小时前
OpenAI对前沿模型训练与评估实施断网管控,10月1日已恢复强化学习训练
下一篇 1小时前

相关推荐

发表回复

登录后才能评论
分享本页
返回顶部