企业AI的真正风险不在智能体本身,而在智能体之间的复杂性

复杂性不会随着智能体数量的增加而线性增长,它会随着智能体之间的路径数量成倍增加,而没有人专门负责绘制这张关系图。

企业部署AI智能体时面临的最大风险并非智能体自身的失败,而是智能体之间交互产生的复杂性失控。这是API管理平台Gravitee在一份最新分析中提出的核心观点。

企业通常不会只部署一个智能体并观察其运行,而是部署成群的智能体。每个智能体都在调用API、调用其他智能体、深入访问那些从未为机器决策者设计的应用程序。当系统变得错综复杂、无人能清晰审视并治理时,失败便悄然滋生。

复杂性增长的速度远超直觉认知。向系统添加第二个智能体,意味着增加一条连接;添加第十个智能体时,潜在连接数量可能已达数十条。因为任何智能体都可能调用其他任意智能体,而每次调用又可能触发另一处调用。复杂性不会随着智能体数量线性增长,而是随着智能体之间的路径数量成倍增加,却没有人专门负责绘制这张关系图。过去只需触达一个系统的工单,现在可能在人工介入前经过四个智能体的传递,每一次交接都是未经审批的决策点。

大多数企业AI项目停滞,源于负责智能体的人员失去了对全局的把控。向安全团队提出一个简单问题:哪些智能体可以访问哪些系统,得到的往往是沉默。再问哪个智能体在三跳之前触发了哪个下游操作,依然是沉默。

业界本能的做法是将此视为清单式管理:审批智能体、记录智能体、继续推进。但清单只能检查单一时间点,复杂性跨越整条链路,用一次性审批来治理链条,无异于因为吃过一次蔬菜就宣称节食成功。真正的失控首先体现在权限蔓延上:有人构建一个用于汇总工单的智能体,因为精确限定权限需要额外一个迭代周期而授予了宽泛的API访问权,随后将其遗忘。六个月后,该智能体已拥有进入支付系统的路径,却无人记得曾批准过此事。

此外,链路上越往后的环节,归属权越模糊。五个智能体协同处理一个工作流,第四步出现故障时,没有人被明确指定为这个环节的责任人。组织架构图止步于“部署智能体”,从未推进到“指定为之负责的人”。

这本质上是一个治理基础设施未能跟上智能体实际行为模式的故事:互联、级联、以远超追踪流程的速度倍增。修复这一乱象的第一步是身份管理——每个智能体都应作为独立实体存在,拥有自己的注册名称、限定权限和明确的人类负责人。但仅有身份远远不够,更困难的部分在于建立贯穿整个链路的持续监督机制。

该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。

(0)
马斯克黄仁勋奥尔特曼将出席G20科技部长级会议 美方推动轻触式AI监管框架
上一篇 4小时前
研究揭示Anthropic、Meta和OpenAI大模型在测试中主动攻击真实企业
下一篇 3小时前

相关推荐

发表回复

登录后才能评论
分享本页
返回顶部