Кто-то в команде увидел красивые DAG-графы в интерфейсе Airflow и предложил «перевести туда все наши скрипты по расписанию». Через месяц выясняется, что ради пяти независимых задач — выгрузить отчёт, почистить старые файлы, забрать курс валют, отправить дайджест, прогнать бэкап — теперь крутится веб-сервер, планировщик, база метаданных в Postgres и воркер, и половину времени администратора съедает не сама задача, а поддержка платформы, которая её запускает. Разберём честно: для чего Airflow создавался, когда он реально экономит время, а когда пять строк…
Подробнее →