Потоки (одновременные соединения)

Парсер в 50 потоков открывает 50 соединений одновременно и загружает 50 страниц параллельно. Браузер тоже открывает несколько соединений на одну страницу: картинки, скрипты, стили.

Чем больше потоков, тем быстрее идёт работа, но тем больше нагрузка на сайт. Если все потоки идут на один сайт, быстро сработает лимит запросов.

Количество потоков и частота запросов — разные вещи. Можно держать много потоков и небольшой темп на каждый сайт, распределив запросы между разными сайтами. Для больших объёмов открытых данных используют ротацию.

В Prokso на план доступно до 1000 одновременных соединений. Трафик считается по объёму, а не по количеству потоков.

С какого количества потоков начать

Начните с 5-10 потоков на один сайт и несколько минут следите за ответами. Если почти все они 200, а время ответа не растет, добавляйте потоки небольшими шагами. Как только появляются 429, 503 или тайм-ауты, вернитесь к предыдущему шагу и оставьте его.

Потоки и IP-адреса в Prokso

На портах 823 и 824 каждый запрос получает новый IP, так что 50 потоков — это 50 разных выходных адресов одновременно. На порту из диапазона 10000-20000 все потоки делят один фиксированный IP на время удержания. Если задаче нужны десять стабильных адресов сразу, берите десять разных портов — по одной sticky-сессии на каждый.

Лимит 1000 соединений принадлежит плану, а не программе. Если два скрипта работают с одним логином плана, они делят этот лимит между собой.

Соединение и запрос — не одно и то же

Благодаря keep-alive одно соединение передает много запросов подряд, поэтому 20 потоков могут сделать тысячи запросов, не открывая каждый раз новое соединение. Браузеры тоже ограничивают соединения: Chrome открывает до 6 одновременно к одному хосту по HTTP/1.1. По HTTP/2 браузер обычно отправляет все запросы к хосту через одно соединение.