Пятничным вечером инженер хотел прогнать небольшое изменение на пяти стейджинговых хостах — включить подробное логирование перед демонстрацией новой фичи. ansible-playbook отчитался: changed=25. Через пятнадцать минут в проде начали расти 502-е, диски на боевых нодах стали пухнуть от debug-логов, а часть трафика улетела на давно списанный тестовый бэкенд. Разберём по шагам, как безобидный на вид запуск playbook задел 20 продакшн-машин, почему это не бросилось в глаза сразу и какая механика Ansible на самом деле в этом виновата.
Подробнее →