Подъехал разбор от инженеров Cloudflare о том, как развалился | Записки молодого девопсера

Подъехал разбор от инженеров Cloudflare о том, как развалился facebook и его сервисы.
https://blog.cloudflare.com/october-2021-facebook-outage/
Из-за того, что отъехали все DNS, вся внутренняя инфраструктура, похоже, тоже отъехала и люди не могли попасть в офис из-за неработающих СКУД. Основные каналы коммуникации тоже упали. По вчерашним сообщениям писали, что инженеры Facebook обновляли ПО/конфигурацию на сетевом оборудовании, что-то пошло не так и удаленно железки не получилось перезапустить (большой российский провайдер негодует, что не было филд-инженеров в ЦОДе во время проведения подобных работ). Только через несколько часов в ЦОД отправили инженеров Facebook, чтобы перезагрузить железки вручную.
В итоге на несколько часов фейсбук и его сервисы перестали существовать для всего остального интернета. Люди ломанулись в telegram, gmail, steam, netflix, snapchat и другие сервисы. Соответственно, не все выдержали нагрузку и тоже упали на какое-то время.
Интересно, что всякие умные слова и концепции вроде "Cloud computation", "SDN", "Disaster Recovery" разбиваются в пух и прах сетевой железкой, которая выказала своё "Фи", сказав "Я устал, я ухожу".
Очень интересно почитать, как проблема выглядела со стороны фейсбука, почему она возникла и как они её решали.
Стоимость акций, кстати, снизилась после вчерашнего падения.
https://www.tinkoff.ru/invest/stocks/FB/