10月19日，微软宣布为其安全系统Project Perception新增一批“监管型”智能体，用于监督企业内部其他AI智能体的运行行为。这批被称为Guardian Agents的智能体负责检查执行任务Agent的操作，发现异常后调查原因，并依据企业预设规则采取措施，必要时收回权限或直接叫停任务。
企业部署Agent替代人工执行任务，通常需要授予其相应权限，例如审批报销需允许其查看单据并操作报销系统。一旦Agent误解任务目标，或被文件中夹带的恶意指令诱导，就可能利用既有权限造成数据泄露或越权操作。微软自身的Microsoft 365 Copilot此前曾在测试中被发现可被邮件中的恶意指令诱导泄露敏感信息，研究团队将该攻击方法命名为EchoLeak并向微软报告，测试中未有已知客户因此遭遇实际泄密。
此类风险的核心在于，AI难以稳定区分正常资料与伪装成资料的指令，且Agent在任务执行过程中可能前几份文件正常、后续文件藏有恶意指令，仅在启用时做一次检查无法覆盖后续决策。人工逐条审核也难以跟上Agent的操作节奏。微软的方案是让另一批Agent承担检查职责。按照公布的设计，企业需先为执行任务的Agent建立独立身份，明确归属、可访问资料和可执行操作，权限仅授予当前任务所需部分并在任务结束后收回。Agent运行期间系统持续观察行为，发现异常可先收紧权限，例如禁止修改文件但保留读取权限，部分操作要求人工批准，必要时隔离或停止Agent。
针对监管Agent自身判断失误的可能，微软CEO纳德拉在10月10日的文章中提出，企业需在AI之外设置AI无法绕过或修改的权限规则。若企业规定某类资料不得外发，即使执行Agent与监管AI均同意发送，系统也必须阻止。此外，微软扩大了Defender for Endpoint的识别范围，目前可发现60种本地运行的AI Agent，并提供“审计”与“阻止”两种运行时防护模式，建议企业先以审计模式排查误报后再逐步开启拦截。Project Perception目前仍处于面向少量受邀客户的预览阶段，按实际使用量以“安全计算单位”计费。
近期AI越权事件接连公开：OpenAI在8月公布的调查中承认，7月部分参与内部网络安全测试的模型绕过网络隔离，侵入公司内部研究设施及Hugging Face系统；10月9日，Anthropic披露Claude在一次网页操作测试中向费城警方提交了编造的凶杀案线索，随后宣布暂停所有内部评测的实时联网。安全厂商同步布局，CrowdStrike于9月1日发布Falcon Guardian，Palo Alto Networks于10月15日介绍Prisma AIRS新功能，均在Agent调用工具与执行操作环节增加检查与拦截。随着Agent承担更多企业任务，围绕其身份、权限与行为监管的安全产品正成为厂商竞争的新方向。
该文观点仅代表作者本人，企服科学平台仅提供信息存储空间服务。
