数码硬件
morning
微软 Outlook 严重中断的内幕
2026-11-18
1 阅读
约5分钟阅读
Tom Warren
字号:
上周四上午 9 点,一切看起来都很正常。微软员工抵达校园,准备开始一天的电子邮件和会议。但不到一个小时后,微软历史上最严重的故障之一开始发生,导致员工、企业和许多政府近 24 小时无法访问 Outlook 电子邮件。据知情人士透露,这一切都始于瑞士。为 Outlook 提供支持的 Exchange Online 服务器开始脱机。由于微软的故障转移系统试图将电子邮件流量转移到其他地方,该问题迅速蔓延到墨西哥,然后蔓延到世界其他国家。几个小时内,超过 80% 的 Exchange 服务器没有响应。消息人士告诉我,微软在其内部事件跟踪系统中将此次中断标记为“sev0”,这是最高级别,这表明服务中断已达到灾难性级别。数百名工程师开始试图找出问题所在以及如何恢复服务。服务器在某些情况下发生故障并不罕见,但微软有多种系统可以将流量路由到健康的服务器,以保持更广泛的系统在线。在这种情况下,故障转移系统发挥了作用,但也传播了问题。在停电的最初几个小时,工程师们正在分析崩溃报告、跟踪日志和内核转储,试图找到这次大停电的线索。一些服务器已进入维护模式,并且由于 CPU 负载异常高而变得无响应。工程师试图让服务器重新上线,但他们几乎立即就被等待访问服务器的流量淹没了。 Exchange 服务器通过网络(预启动执行环境)启动并运行操作系统,该过程允许 Microsoft 的支持人员和工程师远程管理操作系统更新。据我所知,重新启动的服务器突然爆发的流量压垮了监控它们的系统,导致了一种重新启动循环,它们不断尝试但无法重新上线。当工程师继续寻找根本原因时,微软甚至正在努力使用恢复最近更改的常规流程将服务器恢复到健康状态。当外界开始怀疑这次中断是否与网络攻击或草率的人工智能编码有关时,微软的工程师已经在调查潜在的攻击向量,并与 DDoS 专家联络,以了解这是否可能是一次攻击。我被告知崩溃报告和日志很快就排除了攻击的可能性,在最近的回滚失败后,微软的工程师开始仔细研究服务器的网络堆栈,并发现了一个不寻常的错误。这是不寻常的,因为该错误自 7 月份以来一直存在于 Microsoft 365 网络网关服务器上,没有对服务器产生任何影响。微软 Copilot、代理和平台 (CAP) 团队的负责人 Charles Lamanna 在 X 上的一篇文章中写道:“潜在缺陷导致服务器在某些负载条件下变得不堪重负且无响应。” Office 和 Teams 负责人 Ryan Roslansky 离开公司后,Office、Outlook 和 Microsoft Teams 背后的团队上个月都开始向 Lamanna 汇报。微软的初步事件后报告将该错误描述为“由于内部 Windows 进程内的锁争用”而影响特定 Windows 服务器的错误。该错误不会影响常规版本的 Windows,因为它是专门为 Microsoft 365 网络网关服务器准备的修复的结果。微软直到这次重大中断才发现这个错误,它承认这是由于其测试实验室中使用的流量混合和硬件造成的。 “在具有更多内核和较新硬件的机器上,争用问题会更加严重;而我们的负载测试往往侧重于内核较少的较弱硬件,”拉曼纳写道。由于另外两起增加负载并减少服务器容量的事件,该错误变得明显。在此 Outlook 中断开始前 15 小时,Microsoft Teams 从备用网络网关故障转移到支持 Exchange Online 的主网关。 “这增加了网关的负载并改变了其流量模式,”拉曼纳写道。通常这不会是一个问题,但与此同时,该网关大约 14% 的服务器容量“由于前一天的不相关问题而停止服务”。 bug、Microsoft Teams 故障转移和服务器容量减少这三重因素都导致网络网关触发了自 7 月份以来一直处于休眠状态的问题。微软花了近 24 小时才使其 Exchange 服务器再次稳定下来,而且我获悉,试图解决问题的团队有时会进行重叠干预,从而使协调变得复杂。微软工程师一直在进行桥牌通话,参与人数一度达到了 1,000 人的上限。这表明有多少团队参与了寻找 r
这篇文章对您有帮助吗?
订阅66必读
每日精选科技资讯,直达你的邮箱