Проксі для моніторингу цін

Новий IP на кожен запит

Оберіть режим «Новий IP на кожен запит»: одна адреса підключення (порт 823 для HTTP, 824 для SOCKS5) видає новий IP при кожному з'єднанні. Скрипт просто ходить через один проксі, а перемикання адрес відбувається на нашому боці. Приклад коду — у гайді для Python requests.

Серверні для обсягу, резидентські для захищених сайтів

Більшість інтернет-магазинів нормально віддають сторінки на серверні адреси — вони найшвидші й найдешевші, з них і варто починати. Якщо конкретний сайт відповідає капчею чи кодом 403, переведіть на резидентські лише його, а решту залиште на серверних.

Регіональні ціни

Деякі магазини показують різні ціни й наявність залежно від міста. Якщо вам потрібна ціна саме для Києва чи Дніпра, увімкніть точне гео — трафік з ним рахується ×2, тож використовуйте його тільки для таких сайтів.

Акуратне навантаження

Ротація не скасовує ввічливості. Перевіряйте robots.txt, робіть паузи між запитами до одного сайту, не запускайте сотні потоків на один магазин і знімайте ціни стільки разів на день, скільки справді потрібно. Якщо у сайту є відкритий фід або API — беріть дані звідти.

Скільки це коштує

Оплата — за гігабайти, а не за кількість запитів. Завантажуйте тільки HTML без картинок, шрифтів і скриптів: тоді сторінка товару важить десятки кілобайт, і тисячі перевірок вкладаються в невеликий обсяг. Куплений трафік не згорає.

Як магазини відрізняють монітор цін від покупця

Інтернет-магазини й маркетплейси захищають каталог від масового збору так само, як інші сайти. Вони рахують запити з одного IP, помічають адреси дата-центрів, перевіряють заголовки, cookies і те, чи виконує клієнт JavaScript. Великі маркетплейси суворіші за невеликі магазини, і саме на них частіше з'являються капчі.

Проксі розподіляють запити між багатьма адресами й дають IP потрібної країни, але не роблять скрипт невидимим. Темп, заголовки й обробку помилок налаштовуєте ви. Гарантувати, що магазин ніколи не обмежить доступ, не може ніхто.

Робоча схема за п'ять кроків

1. Розділіть список сайтів на дві групи: ті, що спокійно віддають сторінки, і ті, що відповідають капчею чи 403. Першу групу ведіть на серверних проксі (вони ж датацентрові), другу — на резидентських.
2. Створіть окремий план під кожну групу або під кожного клієнта. У плану свій логін, пароль, залишок і ліміт трафіку, тож витрати легко рахувати окремо.
3. Оберіть країну магазину в генераторі й режим «Новий IP на кожен запит»: порт 823 для HTTP або 824 для SOCKS5. Про ротацію детальніше — на сторінці ротаційних проксі.
4. Підключіть парсер за інструкціями для Scrapy чи Playwright, якщо ціна підвантажується скриптом. Якщо ви не пишете код, підійде Octoparse.
5. Перевірте рядок у перевірці проксі і запустіть невелику партію на 50–100 товарів, щоб побачити реальну витрату трафіку.

Ціна, що залежить від міста й кошика

Частина магазинів показує ціну лише після вибору міста чи способу доставки й зберігає цей вибір у cookies. Ротація на кожен запит тут заважає: наступна сторінка відкриється з нового IP і без збереженого міста. Беріть фіксований IP (sticky-сесія) на портах 10000–20000 і тримайте його стільки, скільки триває обхід одного магазину. Зазвичай вистачає 10–30 хвилин.

Якщо магазин визначає місто саме за IP, потрібне точне гео з вибором міста чи провайдера. Воно рахується ×2, тож вмикайте його тільки для таких сайтів. Резидентська адреса може змінитися раніше заданого часу, якщо пристрій вийшов з мережі. Тоді порт отримає новий IP тієї ж країни, і парсер має знову вибрати місто.

Помилки й чисті дані

Для моніторингу цін погана відповідь гірша за відсутню: хибна ціна потрапить у звіт і рішення. Кілька правил:

• Перевіряйте сторінку перед записом. Код 200 не означає успіх: магазин може віддати сторінку з капчею чи заглушкою замість ціни. Шукайте на сторінці артикул, ціну й валюту, а якщо їх немає — повторюйте запит.
• 429 — сигнал сповільнитися. Робіть паузу, що зростає з кожною спробою, і зменшуйте кількість потоків на цей магазин.
• 403 чи капча — повторіть запит через новий IP один-два рази. Якщо не допомагає, переведіть магазин у резидентську групу або ввімкніть фільтр анонімності в налаштуваннях пулу.
• Обмежуйте повтори 2–3 спробами, а невдалі товари відкладайте на наступний обхід. Так трафік не піде на сторінки, які зараз не відповідають.
• Позначайте різкі стрибки. Якщо ціна змінилася в кілька разів, перевірте її повторно, перш ніж реагувати.

Скільки трафіку на моніторинг

Різниця між рядками показує головне: найбільше економить формат завантаження, а не тип проксі. Якщо магазин віддає ціну в HTML або через запит до власного API, не відкривайте сторінку в браузері. Серверні коштують $0.80 за ГБ, резидентські — $1.59. Поставте ліміт трафіку на план і ввімкніть сповіщення на пошту чи в Телеграм, коли трафік закінчується, щоб нічний обхід не зупинився непомітно.

Цифри в таблиці приблизні: сторінка товару на одному сайті важить десятки кілобайт, а на іншому — сотні. Точну витрату покаже невелика партія, після якої видно витрату в особистому кабінеті. Куплений трафік не має строку дії, тож запас на кілька місяців не пропаде.

Розклад обходу

Не всі товари треба перевіряти однаково часто. Ціни на ходові позиції й акційні категорії змінюються щодня, а на рідкісні аксесуари — раз на кілька тижнів. Розбийте каталог на групи: часті перевірки для топових товарів і прямих конкурентів, щотижневі — для решти. Так обсяг запитів, а отже й трафіку, скорочується в рази без втрати важливих змін.

Розносьте обхід у часі. Тисячу сторінок одного магазину краще пройти за годину кількома потоками, ніж за п'ять хвилин усіма одразу: магазин не помітить сплеску, а ви отримаєте менше капч. Нові товари конкурентів зручно знаходити через карту сайту чи відкритий фід, а не повним обходом каталогу щодня.

Якщо сервер магазину підтримує умовні запити із заголовками If-Modified-Since або ETag, незмінена сторінка повертається майже порожньою відповіддю. На великих каталогах це помітна економія.

Країни для моніторингу

IP має бути з тієї країни, ціни якої ви збираєте: магазини часто показують іншу валюту, асортимент або перенаправляють на іншу мовну версію. Для українського ринку беріть Україну, для сусідніх і європейських — Польщу, Німеччину, Францію. Для імпортерів і продавців на міжнародних майданчиках корисні Туреччина та США.

Пул спільний, тож частина адрес на суворих маркетплейсах може одразу отримати капчу. Це очікувано й вирішується повтором через новий IP. Мобільні проксі для моніторингу цін потрібні рідко — лише якщо магазин показує мобільним мережам інші ціни.