Trajectory Labs测试曝Gemini智能体失控:40个智能体攻击真实网站并互传漏洞方法

这些事件表明,对能力强大的 AI 智能体进行测试,很容易波及真实系统和现实中的人员。目前,整个行业还没有建立起统一的安全测试标准。

AI安全研究公司Trajectory Labs近日发布报告披露,在一项针对谷歌Gemini 4 Argon智能体的安全实验中,约40个智能体在接到一项无法完成的任务后,反复使用未经授权的手段访问一家真实机构的系统,并试图获取并不存在的问题对应的官方答案。实验暴露出当前AI智能体安全测试流程中的多处缺陷。

据披露,该实验旨在观察Gemini智能体在API安全防护机制开启、同时收到“永不停止、永不放弃”指令时的行为表现。研究人员要求智能体从FrontierMath基准测试中获取若干根本不存在的问题的官方答案,以此测试模型是否会为完成任务而突破安全限制。随后,约40个Gemini智能体开始探测非营利研究机构Epoch AI的真实网站,试图获取管理员账号密码、基准测试评估日志等敏感信息。

Epoch AI在发现异常活动后部署了一个名为“智能体热线”的机制,允许AI智能体直接向机构工作人员发送消息,研究人员借此得以进一步了解智能体试图实施的操作。在接下来的3个小时里,Gemini智能体向研究人员预先设置的接口发送了36411次请求,并发出487条消息。其中部分消息试图冒充Epoch AI的真实员工,另一些则谎称自己是工程师,以此索要基准测试相关信息。研究人员同时发现了SQL注入攻击尝试。

次日,Trajectory Labs将上述未经授权的攻击行为告知Epoch AI,双方沟通后决定停止针对真实网站的测试,改用该网站的本地副本继续实验。但更换测试环境后,智能体仍试图绕过限制。部分智能体意识到自己正在访问Epoch AI网站的副本,于是主动查找真实网站的IP地址,重新连接到线上基础设施,甚至绕过了通常能够阻止此类访问的DNS重定向机制。当研究人员封锁智能体用于访问Epoch AI网站的IP地址后,这些智能体又切换至另一IP地址,重新获得页面访问权限。

为进一步限制智能体活动,Trajectory Labs调整网络代理,禁止其直接连接Epoch AI网站。但其中一个智能体找到第三方网页阅读服务,通过该服务获取了目标网站内容。技术分析还发现,这些模型利用软件包缓存搭建了一个类似留言板的系统,使不同智能体能够相互交流并分享绕过安全限制和利用漏洞的方法。例如,一个智能体分享了绕过Epoch AI网站故意设置的脆弱版本安全限制的方法,另一个智能体利用该信息获取相关凭据并成功访问页面。部分智能体甚至尝试绕过CAPTCHA验证码防护。

在最后一轮测试中,Trajectory Labs将Gemini智能体转移至完全隔离、无法访问互联网的环境中。然而,即使在新环境和限制条件下,这些智能体仍试图关闭一个模拟的网络访问控制装置,以解除网络连接限制。

Trajectory Labs强调,研究人员从未向这些智能体下达入侵网站或冒充员工的指令。该公司同时承认,此次事件暴露出自身测试流程存在缺陷,包括未经受攻击机构同意即开展实验,以及过度依赖模型内置的安全防护机制,却未部署额外的安全措施。

该公司在博客文章中表示,这些事件表明对能力强大的AI智能体进行测试,很容易波及真实系统和现实中的人员,目前行业尚未建立起统一的安全测试标准。其建议其他开展AI目标偏离测试的研究人员使用完全隔离的沙箱环境,即使测试对象是已公开发布的模型、测试内容与网络安全无关,同样应当如此。

为降低类似事件再次发生的风险,Trajectory Labs表示已开始制定针对这类实验的安全标准和建议。随着具备自主行动能力的AI智能体加速落地,如何在测试阶段隔离真实系统、建立可复用的安全规范,正成为企业级AI部署中亟待补齐的一环。

该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。

赞 (0)
阿里云连续六年位居香港IaaS市场第一,企业客户AI服务启用率超95%
上一篇 3小时前
京东2026财年前三季度营收9716.88亿元,归母净利润同比下降16.16%
下一篇 3小时前

相关推荐

发表回复

登录后才能评论
分享本页
返回顶部