Сообщество / Новая тема

Обсуждение статьиПервый комментарий откроет обсуждение — дальше все вопросы по этой статье будут собираться здесь

Об статье:
После деплоя восемь тысяч клиентов переподключились разом

В восемь вечера в пятницу инженер выкатил рутинный деплой — правка конфигурации логирования, ничего рискованного на первый взгляд. Через минуту после раскатки CPU на всех новых подах ушёл в потолок, база ответила «too many clients already», а дежурному прилетело сразу шесть алертов. Восемь тысяч клиентов, которые держали постоянное WebSocket-соединение с сервисом, переподключились почти в одну и ту же секунду — и положили инфраструктуру, рассчитанную на ровный трафик, а не на всплеск. Разбираем инцидент по шагам: что видели в метриках, какие версии…

Подробнее →