Přeskočit na obsah
Tech-Blog Chatujme.cz Chatujme.cz
Internet a sítě

Microsoft našel za výpadkem Exchange Online zahlcený proces pro zabezpečená spojení

Schránky v Exchange Online přestaly odpovídat ve čtvrtek 12. listopadu v 16:17 UTC a v pátek ráno byl incident pořád otevřený. Microsoft popsal proces, který na serverech navazuje zabezpečená spojení a zahltil se, kořenovou příčinu ale do rána neurčil. Škodlivou činnost vyloučil.

· 0 zhlédnutí

Nízká zelená hala datového centra Microsoftu za černým plotem, prázdná příjezdová cesta a zatažená obloha
Datové centrum Microsoftu v nizozemském Middenmeeru. Foto: Hay Kranen, Wikimedia Commons (CC BY 4.0)

Ve čtvrtek 12. listopadu v 16:17 UTC přestaly odpovídat schránky v Exchange Online. Záznam incidentu EX1550543 uvádí tenhle čas jako začátek dopadu; veřejně Microsoft problém přiznal v 17:54 a mluvil tehdy o uživatelích v Americe. O dvě a půl hodiny později, v 18:26, otevřel druhý incident MO1550821 pro všechny služby, které na Exchange Online závisí. Měřidlo Downdetectoru ukázalo podle deníku Guardian necelých 130 000 hlášení ze 74 zemí. V pátek v 7:25 UTC, tedy šestnáct hodin po začátku, byly oba incidenty dál otevřené se stavem „service degradation“.

Co Microsoft o příčině řekl

První vysvětlení znělo, že část infrastruktury je pod zvýšenou zátěží. Zhruba v 19:20 ho firma upřesnila: provozu nepřibylo. Nedostupných bylo nečekaně hodně serverů a jejich práci dostaly ty zbývající. Důvod, proč servery vypadly, se ukázal o půl hodiny později – neprocházely automatickou kontrolou stavu, takže je systém sám vyřazoval z provozu. Microsoft pak zkusil komponentu, která ty kontroly zpracovává, obejít.

Nejkonkrétnější popis přišel až v noci na pátek. Proces na zasažených serverech, který navazuje zabezpečená spojení, se podle firmy zahltí a server přestane zpracovávat požadavky. To je mechanismus, ne kořenová příčina: proč se zahltil, Microsoft neřekl a kolonka pro kořenovou příčinu zůstává v záznamu incidentu prázdná. Po skončení výpadku slíbil Post-Incident Report s příčinou i se seznamem oprav.

Ve 4:11 firma oznámila, že nic nenasvědčuje škodlivé činnosti. Zopakovala to pak u každé další zprávy. SecurityWeek upozornil, že výpadek přišel dva dny po listopadových záplatách, mezi nimiž byla i zneužívaná chyba v Outlooku, a že Microsoft tyhle dvě věci nijak nespojil.

Jak výpadek postupoval

Časy jsou v UTC a pocházejí ze zpráv, které Microsoft psal do administrace a na svůj stavový účet; shrnul je i britský azureblog.co.uk.

ČasCo Microsoft hlásil
12. 11. 16:17začátek dopadu podle záznamu EX1550543
17:54první veřejná zpráva, zatím jen o Americe
18:26druhý incident MO1550821 pro navazující služby
19:18zátěž nedělá provoz, ale výpadek části serverů
19:43servery padají na automatické kontrole stavu
20:56náhradní způsob kontroly vrátil část serverů do provozu
22:00dosavadní kroky nepomohly, hlavní proces ubírá kapacitu
13. 11. 00:00vrácené servery přestávají odpovídat, jakmile dostanou provoz
asi 01:30firma vrací nedávnou změnu síťové konfigurace
04:57prudce stoupl počet volání ze směrovací vrstvy na servery vzadu
07:29záplata komponenty pro ověřování a směrování zabírá na části strojů

Z té osy je vidět, čím se výpadek protáhl. Microsoft měl do tří hodin popsané příznaky, jenže každý zásah držel jen chvíli. Restartované servery se vracely a po několika minutách provozu zase umlkly, takže firma po půlnoci začala omezovat, jaký druh požadavků se na postiženou infrastrukturu vůbec dostane, a část strojů přestavěla na starší konfiguraci.

Které služby to zasáhlo

Exchange Online vypadl ve všech čtyřech způsobech připojení naráz: Outlook na webu, desktopový Outlook přes MAPI, mobilní pošta přes Exchange ActiveSync i rozhraní REST. Zasažený byl i tok pošty z vlastních serverů firem, pokud vede do Exchange Online nebo z něj. Zpožděná pošta se podle Microsoftu neztrácí a doručí se po obnovení služby.

Druhý incident sbírá všechno ostatní. V Teams selhával kalendář, plánování schůzek a zakládání chatů u organizací s informačními bariérami, kdežto běžné zprávy a hovory jely. Z Copilota se nenačítaly odpovědi ani obsah schránky. Defenderu pro Office 365 přestaly fungovat Safe Links, takže uživatelé naráželi na chyby u odkazů, se kterými nebylo nic v nepořádku. Dál jsou na seznamu SharePoint Online, Defender XDR, Purview, Windows 365, Microsoft Graph, Fabric, Power Apps, Planner, To Do, Intune, Universal Print a části administrace Microsoftu 365.

Rozsah se během večera rozšířil. Microsoft nejdřív psal o Americe, pak formulaci změnil na to, že potíže se spojením můžou potkat uživatele v kterémkoli regionu.

Teams měly týž den vlastní, kratší výpadek

Od 14:45 do 15:53 UTC, tedy ještě před potížemi Exchange Online, selhávaly v Teams chatové zprávy a stav přítomnosti uživatelů v Americe. Microsoft to vede jako samostatný incident TM1550488 a jako předběžnou příčinu uvádí souboj o zdroje v infrastruktuře. Tenhle incident je uzavřený a firma u něj slíbila předběžnou zprávu do dvou pracovních dnů a konečnou do pěti.

Jestli spolu obě události souvisejí, zatím nikdo netvrdí. Shoda je v tom, že obě mají příznak přetížení a obě začaly v Americe.

Stav k pátečnímu ránu

Poslední zpráva před osmou hodinou UTC mluví o prvních dobrých výsledcích: záplata komponenty, která se stará o ověřování a směrování, zlepšila stabilitu části serverů a Microsoft ji rozšiřuje na další regiony. Za vyřešený incident ale označený není a další zpráva měla přijít v 8:30 UTC. Správci ho sledují pod čísly EX1550543 a MO1550821 v administraci, případně na status.cloud.microsoft, když se do administrace nedostanou.

Zdroje

Internet a sítě

Microsoft Microsoft 365 Exchange Online výpadky služeb cloud

← zpět na výpis