За сегодня два раза мы были вынуждены были ставить конференции | 23derevo

За сегодня два раза мы были вынуждены были ставить конференции на паузу из-за технического инцидента. Днём развалило Heisenbug, а 15 минут назад — Joker.

Развалился кластер Hazelcast, все поды стали unready, Кубернетис пошел рестартовать сервисы, в логах ошибки DNS.

А дальше что? Правильно — цепная реакция. Разваливается сеть внутри Kubernetes, от этого ложится online-backend, он тащит за собой API, который сваливает за собой виджет Live, который сваливает сайт конференции.

В доме, который построил Джуг.