Плановое обновление — то, что должно было пройти незаметно в техническое окно ночью в среду — уронило прод. Сервис не поднялся, либо поднялся и ведёт себя странно: то ли 500-е на части запросов, то ли данные не те, то ли просто тормозит так, что мониторинг уже разбудил дежурного. Дальше есть два сценария: команда, у которой заранее готов путь назад, откатывается за считанные минуты и разбирается спокойно; команда без этого плана тратит на восстановление час, два, а иногда и ночь, пытаясь на ходу понять, что вообще можно откатить и как.
Подробнее →