В восемь вечера в пятницу инженер выкатил рутинный деплой — правка конфигурации логирования, ничего рискованного на первый взгляд. Через минуту после раскатки CPU на всех новых подах ушёл в потолок, база ответила «too many clients already», а дежурному прилетело сразу шесть алертов. Восемь тысяч клиентов, которые держали постоянное WebSocket-соединение с сервисом, переподключились почти в одну и ту же секунду — и положили инфраструктуру, рассчитанную на ровный трафик, а не на всплеск. Разбираем инцидент по шагам: что видели в метриках, какие версии…
Подробнее →