Прокси для мониторинга цен

Новый IP на каждый запрос

Выберите режим «Новый IP на каждый запрос»: один адрес подключения (порт 823 для HTTP, 824 для SOCKS5) выдаёт новый IP при каждом соединении. Скрипт просто ходит через один прокси, а переключение адресов происходит на нашей стороне. Пример кода — в гайде для Python requests.

Серверные для объёма, резидентские для защищённых сайтов

Большинство интернет-магазинов нормально отдают страницы на серверные адреса — они самые быстрые и дешёвые, с них и стоит начинать. Если конкретный сайт отвечает капчей или кодом 403, переведите на резидентские только его, а остальные оставьте на серверных.

Региональные цены

Некоторые магазины показывают разные цены и наличие в зависимости от города. Если вам нужна цена именно для Киева или Днепра, включите точное гео — трафик с ним считается ×2, так что используйте его только для таких сайтов.

Аккуратная нагрузка

Ротация не отменяет вежливости. Проверяйте robots.txt, делайте паузы между запросами к одному сайту, не запускайте сотни потоков на один магазин и снимайте цены столько раз в день, сколько действительно нужно. Если у сайта есть открытый фид или API — берите данные оттуда.

Сколько это стоит

Оплата — за гигабайты, а не за количество запросов. Загружайте только HTML без картинок, шрифтов и скриптов: тогда страница товара весит десятки килобайт, и тысячи проверок укладываются в небольшой объём. Купленный трафик не сгорает.

Как магазины отличают монитор цен от покупателя

Интернет-магазины и маркетплейсы защищают каталог от массового сбора так же, как другие сайты. Они считают запросы с одного IP, замечают адреса дата-центров, проверяют заголовки, cookies и то, выполняет ли клиент JavaScript. Крупные маркетплейсы строже небольших магазинов, и именно на них чаще появляются капчи.

Прокси распределяют запросы между многими адресами и дают IP нужной страны, но не делают скрипт невидимым. Темп, заголовки и обработку ошибок настраиваете вы. Гарантировать, что магазин никогда не ограничит доступ, не может никто.

Рабочая схема за пять шагов

1. Разделите список сайтов на две группы: те, что спокойно отдают страницы, и те, что отвечают капчей или 403. Первую группу ведите на серверных прокси (они же датацентровые), вторую — на резидентских.
2. Создайте отдельный план под каждую группу или под каждого клиента. У плана свой логин, пароль, остаток и лимит трафика, так что расходы легко считать отдельно.
3. Выберите страну магазина в генераторе и режим «Новый IP на каждый запрос»: порт 823 для HTTP или 824 для SOCKS5. О ротации подробнее — на странице ротационных прокси.
4. Подключите парсер по инструкциям для Scrapy или Playwright, если цена подгружается скриптом. Если вы не пишете код, подойдёт Octoparse.
5. Проверьте строку в чекере прокси и запустите небольшую партию на 50–100 товаров, чтобы увидеть реальный расход трафика.

Цена, которая зависит от города и корзины

Часть магазинов показывает цену только после выбора города или способа доставки и хранит этот выбор в cookies. Ротация на каждый запрос здесь мешает: следующая страница откроется с нового IP и без сохранённого города. Берите фиксированный IP на портах 10000–20000 и держите его столько, сколько длится обход одного магазина. Обычно хватает 10–30 минут.

Если магазин определяет город именно по IP, нужно точное гео с выбором города или оператора. Оно считается ×2, так что включайте его только для таких сайтов. Резидентский адрес может смениться раньше заданного времени, если устройство ушло из сети. Тогда порт получит новый IP той же страны, и парсер должен снова выбрать город.

Ошибки и чистые данные

Для мониторинга цен плохой ответ хуже отсутствующего: ложная цена попадёт в отчёт и в решения. Несколько правил:

• Проверяйте страницу перед записью. Код 200 не означает успех: магазин может отдать страницу с капчей или заглушкой вместо цены. Ищите на странице артикул, цену и валюту, а если их нет — повторяйте запрос.
• 429 — сигнал замедлиться. Делайте паузу, которая растёт с каждой попыткой, и уменьшайте количество потоков на этот магазин.
• 403 или капча — повторите запрос через новый IP один-два раза. Если не помогает, переведите магазин в резидентскую группу или включите фильтр анонимности в настройках пула.
• Ограничивайте повторы 2–3 попытками, а неудачные товары откладывайте на следующий обход. Так трафик не уйдёт на страницы, которые сейчас не отвечают.
• Отмечайте резкие скачки. Если цена изменилась в несколько раз, проверьте её повторно, прежде чем реагировать.

Сколько трафика на мониторинг

Разница между строками показывает главное: больше всего экономит формат загрузки, а не тип прокси. Если магазин отдаёт цену в HTML или через запрос к собственному API, не открывайте страницу в браузере. Серверные стоят $0.80 за ГБ, резидентские — $1.59. Поставьте лимит трафика на план и включите уведомления на почту или в Телеграм, когда трафик заканчивается, чтобы ночной обход не остановился незаметно.

Цифры в таблице примерные: страница товара на одном сайте весит десятки килобайт, а на другом — сотни. Точную цифру покажет небольшая пробная партия: после неё расход виден в кабинете. Купленный трафик не имеет срока действия, так что запас на несколько месяцев не пропадёт.

Расписание обхода

Не все товары нужно проверять одинаково часто. Цены на ходовые позиции и акционные категории меняются ежедневно, а на редкие аксессуары — раз в несколько недель. Разбейте каталог на группы: частые проверки для топовых товаров и прямых конкурентов, еженедельные — для остальных. Так объём запросов, а значит и трафика, сокращается в разы без потери важных изменений.

Разносите обход во времени. Тысячу страниц одного магазина лучше пройти за час несколькими потоками, чем за пять минут всеми сразу: магазин не заметит всплеска, а вы получите меньше капч. Новые товары конкурентов удобно находить через карту сайта или открытый фид, а не полным обходом каталога каждый день.

Если сервер магазина поддерживает условные запросы с заголовками If-Modified-Since или ETag, неизменённая страница возвращается почти пустым ответом. На больших каталогах это заметная экономия.

Страны для мониторинга

IP должен быть из той страны, цены которой вы собираете: магазины часто показывают другую валюту, ассортимент или перенаправляют на другую языковую версию. Для украинского рынка берите Украину, для соседних и европейских — Польшу, Германию, Францию. Для импортёров и продавцов на международных площадках полезны Турция и США.

Пул общий, поэтому часть адресов на строгих маркетплейсах может сразу получить капчу. Это ожидаемо и решается повтором через новый IP. Мобильные прокси для мониторинга цен нужны редко — только если магазин показывает мобильным сетям другие цены.