Прокси для парсинга

Ротация на каждый запрос

Выберите «Новый IP на каждый запрос»: один адрес подключения (порт 823 для HTTP, 824 для SOCKS5) выдаёт новый IP при каждом соединении. В скрипте ничего переключать не нужно.

Серверные или резидентские

Начните с серверных: они самые быстрые и дешёвые. Если сайт отвечает капчами или ошибками 403, переходите на резидентские — они выглядят как обычные посетители.

Экономия трафика

Трафик считается по объёму, а не по количеству запросов. Отключайте загрузку картинок, шрифтов и скриптов, если они не нужны, и используйте API сайта, если он есть.

Контроль ошибок

В кабинете виден журнал запросов и ошибок по сайтам. Если какой-то сайт постоянно отвечает ошибкой, добавьте его в список заблокированных, чтобы не тратить трафик.

Как сайты распознают парсер

Защита сайта редко смотрит только на один признак. Чаще всего она считает количество запросов с одного IP в минуту, проверяет, принадлежит ли адрес дата-центру или уже помечен как прокси, и сравнивает заголовки запроса с обычным браузером. Скрипт, который шлёт запросы без пауз, с одинаковым User-Agent и без cookies, заметен даже с чистого адреса.

Поэтому прокси решают только часть задачи: распределяют нагрузку и дают адрес нужной страны. Остальное — темп, заголовки, повторные попытки — вы настраиваете в скрипте. Гарантировать, что конкретный сайт никогда не покажет капчу, не может ни один прокси-сервис, и мы тоже.

Настройка за пять шагов

1. Создайте план нужного типа: серверные (их ещё называют датацентровыми) для открытых сайтов, резидентские — для тех, что режут адреса дата-центров.
2. Выберите страну в генераторе кабинета. Страна входит в цену, а точное гео (город, регион, ZIP, оператор) считается ×2 — включайте его только там, где ответ сайта действительно зависит от города.
3. Выберите режим IP. Порт 823 (HTTP) или 824 (SOCKS5) — новый адрес на каждый запрос. Порты 10000–20000 — фиксированный IP на каждом порту с длительностью сессии от 1 до 120 минут (по умолчанию 30).
4. Скачайте список строк в нужном формате (.txt), например логин:пароль@gw.prokso.com:823 или хост:порт:логин:пароль. Если скрипт работает на сервере с постоянным адресом, можно разрешить доступ по IP (до 5 адресов на план) без логина.
5. Подключите в коде по нашим инструкциям: Python requests, Scrapy, Playwright. Для сбора данных без кода есть инструкция для Octoparse. Перед запуском проверьте строку в чекере прокси.

Ротация или фиксированный IP

Каталоги, карточки товаров, открытые страницы без входа — это ротация на каждый запрос. Каждая страница идёт с другого адреса, и ни один IP не набирает подозрительного количества обращений. Подробнее о режимах — на странице ротационных прокси.

Фиксированный IP нужен, когда сайт связывает действия в одну сессию: вход в аккаунт, корзина, пагинация с токеном, фильтры, которые хранятся в cookies. Возьмите отдельный порт из диапазона 10000–20000 на каждый поток и задайте длительность сессии с запасом на всю сессию. Резидентский адрес может смениться раньше, если устройство ушло из сети: порт получит новый IP той же страны, поэтому скрипт должен уметь заново авторизоваться.

Есть и третий вариант без отдельных портов. В расширенном режиме можно дописать номер сессии в логин: тогда на портах 823 и 824 запросы с одинаковым номером идут с одного IP примерно 30 минут. Это удобно, когда скрипт держит десятки параллельных сессий и каждой нужен свой стабильный адрес, а вести список портов не хочется.

Темп, ошибки 403 и 429

Ротация не отменяет разумного темпа. Несколько правил, которые экономят и трафик, и время:

• 429 Too Many Requests — сайт просит замедлиться. Делайте паузу, которая растёт с каждой попыткой (например, 2, 4, 8 секунд), и уменьшайте количество потоков на этот домен.
• 403 или капча — адрес или сам запрос выглядят подозрительно. Повторите запрос через новый IP один-два раза. Если ошибка повторяется, проверьте заголовки и cookies или переведите этот сайт на резидентские.
• Ограничивайте повторы. Бесконечные попытки загрузить страницу, которая никогда не ответит, съедают трафик. После 2–3 неудач откладывайте URL в отдельную очередь и разбирайте позже.
• Распределяйте потоки по доменам. План держит до 1000 одновременных соединений, но десятки потоков на один небольшой сайт — плохая идея и для вас, и для сайта.
• Фильтр анонимности в настройках пула отсекает IP, которые сайты уже пометили как прокси или VPN. Он полезен для чувствительных сайтов, где доля ответов 403 заметно выше обычного.

Некоторые сайты закрыты для всех клиентов — государственные ресурсы, банки, платёжные системы. Их перечень есть на странице запрещённых сайтов.

Сколько трафика займёт парсинг

Трафик считается в обе стороны, но основную часть составляет ответ сайта. Поэтому решающий вопрос — что именно вы загружаете: только HTML или полную страницу с картинками и скриптами через браузер.

Цифры примерные: вес страниц сильно отличается от сайта к сайту. Точнее всего — запустить небольшую партию на 100–200 страниц и посмотреть расход в кабинете. Чтобы не выйти за бюджет, поставьте на план лимит трафика (за час, сутки или неделю) с остановкой или предупреждением. Серверные стоят $0.80 за ГБ, резидентские — $1.59. Цена одинаковая для любого объёма, подробности — на странице тарифов.

Какие страны выбирать

Для глобальных сайтов страна чаще всего не важна, и можно брать любую из 195. Но многие магазины и сервисы показывают разные цены, язык и ассортимент в зависимости от страны посетителя. Тогда берите IP той страны, данные которой вам нужны: США для американских площадок, Германию и Нидерланды для европейских, Великобританию для британских, Польшу и Украину для локальных. Мобильные прокси для парсинга нужны редко — разве что сайт показывает другой контент пользователям мобильных сетей.

И честно о пуле: он общий, адресом раньше мог пользоваться другой клиент. Поэтому часть IP на строгих сайтах может сразу получать капчу. Это нормально: повтор через новый адрес обычно решает вопрос. UDP не поддерживается, но для HTTP-парсинга он и не нужен.

Лучшие и самые дешёвые прокси для парсинга

Лучшие прокси для парсинга — те, что проходят на конкретном сайте за наименьшие деньги. Начинайте с серверных: это самые дешёвые прокси для парсинга, $0.80 за ГБ, и на большинстве открытых сайтов их хватает. Если сайт режет адреса дата-центров, переключите тот же скрипт на резидентские ($1.59 за ГБ) — меняется только строка подключения. Купить прокси для парсинга можно без подписки: трафик остаётся на плане, пока парсер его не израсходует.