«Запусти в 50 потоков вместо 10 — будет в пять раз быстрее» — так рассуждают, пока не упрутся в стену. Иногда стена — это забитый канал, иногда — CPU, съеденный рендерингом JS, а чаще всего — целевой сайт, который после 30-го параллельного запроса просто начинает отвечать 429 или молча банит IP. Разберём, как понять, какой из трёх факторов ограничивает именно вашего парсера, и как подобрать параллелизм без угадывания.
Подробнее →