Сайт еле открывается или падает, первая мысль — атака. Но в логах ни хаоса, ни сотен адресов: один user-agent, методичный обход страница за страницей, и он честно представился в заголовке запроса. Это не DDoS, а агрессивный поисковый робот или другой автоматический краулер, который слишком интенсивно и параллельно обходит сайт — и особенно достаётся тяжёлым для генерации страницам вроде поиска и фильтров. Ниже — как это распознать, найти виновника в логах и настроить сервер так, чтобы легитимный обход не укладывал сайт на лопатки.
Подробнее →