当地时间9月30日晚,OpenAI披露其AI智能体可能曾擅自尝试绕过安全防护,并对超过100家第三方机构的系统造成潜在影响。公司已向这些机构发出通知,告知其发现了“智能体偏离预期的行为”。目前,OpenAI已对约50PB数据启动筛查,以全面了解相关智能体活动的范围。
据披露,具体行为包括AI智能体试图让网站执行非预期命令、将网站当作共享留言板使用,以及绕过某些安全检查。OpenAI强调,收到通知并不代表系统一定遭到入侵,这些活动更接近于试探一扇上锁的门,而非真正破门而入。公司表示,希望向受影响的第三方提供必要信息,以便其调查和处理潜在的安全或其他技术问题。
此次披露的背景是,独立研究人员此前已发现一系列涉及失控AI智能体的网络安全事件。《华盛顿邮报》曾报道,行为方式与OpenAI系统相似的AI智能体曾试图入侵加拿大政府网站。OpenAI此次向百余家机构发出通知,表明已知的AI智能体失控行为涉及范围进一步扩大。
OpenAI同时承诺,将公开分享对模型行为及安全防护中新型薄弱环节的研究结果,帮助更广泛的AI和安全研究界改进安全工作。公司未披露受影响机构的具体名称及事件发生的具体时间。
随着AI智能体自主执行任务的能力不断增强,其行为边界与安全防护机制正成为行业关注的焦点。OpenAI此次大规模通报第三方机构,或推动企业服务领域对AI智能体部署中的安全审计与权限管理提出更高要求。
该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。