CNCC 2026专家激辩智能体安全:蚂蚁10万智能体在运行,国标与强标加速落地

智能体不是坏,是蠢。它就是一个少年谢尔顿,聪明但幼稚,极其容易被误导,上下文一旦失控就会变得很蠢。

2026年,智能体正从概念验证阶段进入生产系统。蚂蚁集团3万多名员工背后已有10万余个智能体在运行,华为内部同样部署了成千上万个智能体,覆盖客服、办公、运维、研发各条业务线。在个人助手、AI for Science、网络安全自动化攻防、企业级工作流编排等场景中,智能体正在逐步接管过去由人类亲力亲为的工作。Gartner已将智能体列入2027年十大战略技术,非人类身份(NHI)成为RSAC大会上的新赛道。与此同时,国内国标、强标、最高法司法意见、三部委规范文件在今年密集出台,政策端的紧迫感与产业端的扩张几乎同步。

10月22日,在成都举行的CNCC 2026“智能体的安全问题”专题论坛上,于锐、徐恪、胡侠、韦韬、肖亚军五位嘉宾分别从国家标准制定、高校AI安全研究、企业安全防线等角度做出解读。

安全的第一步是明确智能体的身份。CCF计算机安全专委会副主任委员于锐将中国在此方面的进展概括为“国标引领、行业细化、企业落地”。今年5月出台的GB/T 185系列标准覆盖智能体安全治理的全生命周期,两个核心要求是授予每个智能体唯一的身份标识,以及实施统一的身份管理。编码方式采用OID树形分层结构,一码一主体,永不重复。于锐表示,这相当于给智能体发放了身份号码。另一项正在制定的强制性标准《智能体应用安全基本条件》一旦发布,没有身份和标识的智能体将无法上线应用。

于锐将智能体身份拆为三层:产品身份包含ID、代码指纹和版本号,回答“这是哪个智能体”;运行时身份校验运行环境、设备信息和调用来源,反映“它此刻在做什么”;责任主体通过实名认证和企业认定,解决“出了事找谁”。他强调,授权应按任务授予最低权限,任务完成即收回,而非一次授权后持续放行。技术实现层面,认证走OAuth/OIDC,授权走OAuth,凭证参考JWT格式。信任锚点最终落在实名认证上,其正在建设的国家网络可信身份公共服务平台已具备每秒15万次服务能力,接入900多个机构,下载申领量突破6000万。

责任归属方面,今年9月最高人民法院发布《关于审理涉人工智能纠纷案件的意见》,按控制力、场景和获利划分责任:一般场景适用过错责任,开发者和使用者承担风控告知和复核义务;具身智能场景适用产品责任,制造商承担无过错责任;涉及个人信息的场景实行过错推定,由运营方自证合规。

标准与法规在加速推进,技术侧的问题更为棘手。蚂蚁集团副总裁兼首席技术安全官、蚂蚁密算科技有限公司董事长韦韬表示,AI爆发之后攻防天平已严重失衡。他透露,大会前两天一家知名数据库公司全面爆雷,PHP和NodeJS接连曝出高危漏洞,大模型领域广泛使用的LiteLLM网关被投毒,攻击者正全面利用AI提升攻击效率。防守方则面临AI编程导致代码产出速度暴涨、漏洞产出量激增而修复速度跟不上的困境。

韦韬指出,DAC、MAC、贝尔-拉帕杜拉等访问控制模型诞生于六七十年代主机时代,完善于局域网时代,到了云时代面临主体爆炸、客体爆炸、链条爆炸,已严重失衡。智能体带来的不只是旧问题放大,还有结构性隐患。他将矛头指向自然语言本身:当前智能体普遍采用自然语言加Guardrails的构造方式,但自然语言含混,条件描述和逻辑控制边界难以讲清,是攻击者最喜欢的环境。为此他持续推动“智能体原生语言”的构建,将结构化表达与模糊推理融合,从载体层面重建安全体系。他还指出,“安全就是一个沙箱”的认知已经落后,同时大模型知识全部来自人类实践,在金融、医疗等对可执行、可解释有硬性要求的领域,知识组织形态尚未成型。

上海人工智能实验室主任助理、领军科学家胡侠从AI研究角度将安全问题分为两类:内生风险源自大模型本身的幻觉与黑箱,长期看甚至可能出现与人争夺控制权的局面;衍生风险则是大模型能力被恶意利用,尤其是CBRNE(生化放核爆)攻击。他举例称,UK BioBank中存有埃博拉全基因组数据,过去蛋白质合成公司能识别并拒绝相关合成请求,但有了大模型之后,具备基本生化知识的本科生甚至高中生就可能造出变种并绕过监管流程完成合成。胡侠以人体健康为喻,将安全评测分为症状、指标、理论三层,并坦言理论层面工作仍少,差分隐私为隐私保护提供了理论根基,安全领域仍缺乏类似框架,Transformer架构本身可能存在局限。

韦韬对智能体的定性更为直接:不是坏,是蠢。他表示,做安全的人从来不担心智能体有多坏,它聪明但幼稚,极易被误导,上下文一旦失控就会变得很蠢,而蠢才是真正可怕的,在攻击者眼里它就是一个好用的跳板。一旦突破智能体这一层,后面的知识库、数据库、工具链尽为攻击者所用,单点击穿后前端部署再多防护也无济于事。

华为网络安全与隐私保护部副部长肖亚军则从生产环境带来实证。他表示,从最后一道防线来看,这一两年一直处于非常焦虑的状态。智能体在生产系统中正出现越界行为,比例高达两成,这一来自一线部署的数据为论坛的理论预警提供了现实注脚。

从国标发身份证、强标设门槛,到最高法划分责任、企业披露生产环境越界比例,智能体安全已从学术讨论进入标准、司法与工程实践并行推进的阶段。随着智能体规模继续扩张,身份体系、访问控制模型与安全载体的重构将成为企业部署智能体时必须面对的底层工程问题。

该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。

赞 (0)
明知车辆用不了 FSD 却仍然推销,特斯拉在韩国遭消费者组织投诉
上一篇 1天前
国产打印机品牌份额提升至42%,奔图、得力、联想面临行业萎缩压力
下一篇 1天前

相关推荐

发表回复

登录后才能评论
分享本页
返回顶部