Диск под мониторинг заполняется тихо: никто не замечает, как retention с 15 дней вырос до 90 «на всякий случай», а число временных рядов утроилось после добавления пары новых сервисов с богатыми лейблами. А потом Prometheus падает с out-of-disk, или счёт за хранилище метрик неожиданно догоняет счёт за сами серверы, которые он мониторит. История метрик — не бесплатный побочный продукт мониторинга, а ресурс, у которого есть цена за каждый день хранения, и эту цену стоит считать заранее, а не по факту переполненного тома.
Подробнее →