微软公布初步事件报告,确认一个隐藏的Windows Bug触发了Microsoft 365网络网关服务器持续逾一天的宕机事故,并计划于11月20日披露更详细信息。
据微软说明,该问题源于今年7月针对Microsoft 365网络网关服务器部署的一项修正。该修正上线后运行三个多月未出现异常,但实际引入了一个锁争用Bug:Windows内部进程中多个任务争夺对共享资源的访问权,在特定流量条件下会耗尽处理器和内存资源。微软此前的测试未能发现该问题,原因是测试在硬件性能较弱的机器上进行,而在拥有更多核心的新硬件上,该问题会表现得非常显著。
事故由两个条件共同触发。其一,Teams流量从一个备用网关迁移至与Exchange Online共用的主网关;其二,一个不相关问题导致14%的网关服务器容量处于不可用状态。剩余服务器容量原本足以应付需求,但两个条件叠加后触发了上述Bug。当服务器发生故障时,自动系统会将连接转移至正常端点,然而这种额外负载又在其它位置引发相同故障,导致服务中断在不到两小时内蔓延至多个区域。最严重的时候,逾八成服务器处于无响应状态。
从技术层面看,此次事故暴露了两个值得关注的问题。一是测试环境与生产环境的硬件规格差异导致缺陷未被提前识别,多核新硬件上的并发争用问题在低性能测试机上难以复现;二是故障自动转移机制在缺陷具有普遍性时反而成为扩散路径,单点故障的冗余设计未能阻断级联失效。
对于依赖Microsoft 365开展协同办公与邮件服务的企业用户而言,此次事故再次提示云服务中断的连锁风险。微软后续公布的详细报告,或将涉及网关容量规划、故障转移策略以及测试环境标准化等方面的调整。
该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。