Microsoft объяснила суточный сбой Microsoft 365 июльской ошибкой в шлюзе
Скрытая ошибка три месяца жила в проде и сработала, когда совпали рост нагрузки и нехватка серверов.
Microsoft 16 ноября опубликовала предварительный разбор сбоя, который 12 и 13 ноября почти на сутки оставил клиентов Microsoft 365 без почты Exchange Online и связанных с ней сервисов. Сокращённую версию отчёта выложил в X Чарльз Ламанна, исполнительный вице-президент Microsoft по Copilot, агентам и платформе. Причиной стала скрытая ошибка в сетевом шлюзе, через который идут запросы ко многим сервисам Microsoft 365: она попала в прод ещё в июле и больше трёх месяцев никак себя не проявляла.
Этот разбор показателен для любой крупной инфраструктуры: в нём сошлись дефект, который не ловится нагрузочными тестами на слабых конфигурациях, штатное переключение трафика, сниженный запас мощности и автоматика отказоустойчивости, которая в таких условиях разносит проблему по всему парку. Каждое из звеньев по отдельности считалось безопасным.
Ключевые выводы
- Сбой MO1550821 длился с 16:20 UTC 12 ноября до 16:10 UTC 13 ноября 2026 года, следует из итогового сообщения в центре администрирования.
- Корневая причина: lock contention во внутреннем процессе серверов шлюза; дефект внесён исправлением, которое начали раскатывать в июле.
- Сработали ещё два фактора: Teams примерно за 15 часов до сбоя переключился на этот шлюз, а почти 14% мощности шлюза были выведены из работы после инцидента накануне.
- В худший момент не отвечали больше 80% серверов; каскад прошёл по всему парку меньше чем за 2 часа.
- Быстро откатить изменение не вышло: ошибке было несколько месяцев, и обычные rollback и feature flags не позволяли оперативно её отменить.
Что сломалось и на сколько?
По данным итогового сообщения MO1550821, которое сохранил трекер 365Fanatic, инцидент начался в четверг, 12 ноября, в 16:20 UTC (19:20 мск) и закончился в пятницу, 13 ноября, в 16:10 UTC. Пострадали функции, которые обращаются к Exchange Online: почтовые ящики были недоступны через Outlook в браузере, десктопный Outlook, Exchange ActiveSync и REST, доставка писем задерживалась. Вместе с почтой отказывали Copilot, порталы Defender XDR и Purview, часть сценариев Intune, Planner, Power Apps и запросы Microsoft Graph к почте, календарю и контактам.
Основные функции Teams, по словам Microsoft, работали большую часть инцидента: сервис сумел уйти с неисправного шлюза, и ломалось в основном то, что завязано на Exchange, например календарь. Чтобы не потерять задержанные письма, компания, как писал BleepingComputer, продлила окно ожидания доставки до 48 часов. Microsoft также заявила, что сбой технический и не связан ни с кибератакой, ни с ИИ-агентами.
Какие три фактора совпали?
Ламанна описывает причину сбоя как сочетание трёх обстоятельств, каждое из которых по отдельности не вывело бы систему из строя.
Скрытый дефект. При определённой нагрузке серверы шлюза захлёбывались и переставали отвечать из-за lock contention, то есть борьбы потоков за одну блокировку, во внутреннем процессе. Дефект появился вместе с исправлением, подготовленным специально для серверов сетевого шлюза Microsoft 365. Microsoft отдельно оговаривает, что ни исходная ошибка, ни это исправление не относятся к обычным установкам Windows. Изменение начали развёртывать в июле, оно прошло поэтапную выкатку, за несколько недель дошло до всех регионов и больше трёх месяцев работало без происшествий.
Рост нагрузки. У Microsoft 365 два независимых и по-разному устроенных сетевых шлюза, между которыми сервисы умеют переключаться при неполадках. Примерно за 15 часов до сбоя Teams переключился с альтернативного шлюза на «основной», тот самый, что обслуживает и Exchange Online. Нагрузка на шлюз выросла, характер трафика изменился. Компания подчёркивает, что такое переключение входит в обычную эксплуатацию.
Потеря 14% мощности. В тот же момент почти 14% мощности шлюза были выведены из работы из-за несвязанной проблемы предыдущего дня и ждали возврата через плановое обслуживание. Запаса хватало, и само по себе это сокращение ни на что не влияло.
Вместе рост нагрузки и сокращение доступной мощности довели шлюз до условий, в которых срабатывала июльская ошибка: запросы копились в очереди, пока серверы не переставали отвечать. Случилось это в часы пиковой нагрузки в США.
Почему нагрузочные тесты ничего не показали?
Перед выкаткой ошибку не заметили на стендах: в лабораториях Microsoft гоняли нагрузку с другим составом трафика и на другом наборе конфигураций серверов, в основном на слабых SKU с меньшим числом ядер. Конкуренция за блокировку, наоборот, резко обостряется на новом многоядерном железе.
Механика знакома по любому многопоточному коду: чем больше ядер одновременно тянутся к общему мьютексу, тем больше времени уходит на ожидание и переключения, и с какого-то порога пропускная способность падает вместо того, чтобы расти. Это общее объяснение эффекта, а не цитата из отчёта: какой именно процесс и какая блокировка стали узким местом и почему стенды их не нагрузили, в сокращённой версии не сказано.
Как отказоустойчивость превратила локальный сбой в глобальный?
Когда сервер перестаёт отвечать, системы управления трафиком автоматически уводят пользователей на здоровые узлы. Обычно это и делает сервис устойчивым. Здесь перенаправленный трафик повышал вероятность той же ошибки на оставшихся серверах: прежняя нагрузка ложилась на всё меньшее число машин, и отказ шёл от сервера к серверу. Меньше чем за 2 часа неизвестный ранее дефект проявился по всему парку, в худший момент не отвечали больше 80% серверов.
Шлюз состоит из тысяч «единиц мощности», объединённых в регионы, и перегородки между ними должны останавливать такие каскады. По словам Ламанны, из-за ещё одной, отдельной проблемы эти перегородки не сработали, поэтому отказ и стал глобальным. Что это за проблема, в публичной версии не раскрыто.
Teams, OneDrive, SharePoint и приложения Office сумели уйти с неисправного шлюза и восстановились раньше. Exchange Online такой возможности не имеет, поэтому почта лежала дольше всего.
Почему восстановление заняло почти сутки?
Серверы, которые возвращали в строй, сразу получали накопившийся трафик и снова переставали отвечать. Автоматические процедуры восстановления, по признанию Microsoft, не были рассчитаны на подъём сервиса из состояния, когда не отвечает почти весь парк. Привычные инструменты быстрого отката тоже не помогли: ошибке было несколько месяцев, и rollback последних выкаток, поэтапное включение и feature flags не позволяли быстро вернуть прежнее поведение.
Когда инженеры подтвердили причину, они подготовили обновление, возвращающее код к прежнему рабочему состоянию. Его применяли группами: серверы выводили из работы, обновляли, перезапускали и возвращали под нагрузку, причём сразу крупными партиями, например больше 50% региона за раз.
Что из этого забрать в свою практику?
Отчёт Microsoft предварительный. По пересказу 365Fanatic, в нём названы уже выполненные меры: дополнительные мощности, новый мониторинг перенаправлений трафика и состояния обработки соединений, ограничители распределения трафика против каскадов. Полный список исправлений обещан в итоговом отчёте, его ждут 20 ноября. Четыре наблюдения из разбора применимы к любой нагруженной системе, это уже выводы редакции:
- Нагрузочные тесты на слабом железе могут скрывать проблемы масштабирования по ядрам. Чтобы их ловить, на стенде нужны боевой состав трафика и конфигурации с максимальным числом ядер.
- Запас мощности рассчитывают с учётом совпадения штатных событий: переключения трафика и вывода части парка на обслуживание.
- Автоматическое перераспределение нагрузки с упавших узлов без ограничителя разносит локальный дефект по всему парку. При этом механизмы изоляции сегментов требуют отдельной проверки в условиях реального сбоя.
- План восстановления «с нуля», когда не отвечает почти всё, и защита от лавины накопившихся запросов нужны до инцидента: быстрый откат по feature flag плохо помогает против изменения, которое выкатили три месяца назад.
Администраторам Microsoft 365 полный предварительный отчёт доступен в центре администрирования под номерами MO1550821 и EX1550543, сообщил аккаунт Microsoft 365 Status. Итоговый разбор (Post-Incident Review) Ламанна обещает на этой неделе; в сообщении об инциденте Microsoft называла сроки: два рабочих дня для предварительного отчёта и пять для итогового. В опубликованной сокращённой версии нет ответа на два вопроса: какая «отдельная проблема» сломала изоляцию регионов и что компания изменит в тестировании и восстановлении. Их и стоит искать в итоговом отчёте.
Источники: X: Чарльз Ламанна, сокращённый отчёт о причинах сбоя, 16 ноября 2026, X: Microsoft 365 Status о публикации предварительного отчёта, 365Fanatic: текст сообщения MO1550821 из центра администрирования Microsoft 365, 365Fanatic: пересказ предварительного отчёта Microsoft от 15 ноября 2026 и ссылка на PDF, BleepingComputer: Massive Microsoft 365 outage disrupts Outlook, Teams, Copilot worldwide