Трафік проксі закінчується швидше, ніж очікували

Що означає помилка

У Prokso трафік рахується в обидва боки: і те, що програма надсилає, і те, що завантажує. Для звичайного парсингу основну частину дає відповідь сайту, але під час вивантаження файлів, надсилання форм чи великих запитів до API вихідний обсяг теж помітний.

Розмір сторінки — це не лише HTML. Браузер чи антидетект завантажує все, на що посилається сторінка: картинки, відео, шрифти, скрипти, рекламу й лічильники. Тому сторінка з невеликим текстом може тягнути в рази більше даних, ніж сам текст.

Ще один множник — точне гео. Регіон, місто, ZIP або оператор (ASN) рахуються вдвічі: 1 ГБ такого трафіку забирає з пакета 2 ГБ. Країна — без доплати.

Причини

• Ресурси сторінок. Картинки, відео, шрифти й скрипти — найважча частина типової сторінки. Headless-браузери в Puppeteer, Playwright і Selenium завантажують їх так само, як звичайний браузер, навіть якщо вам потрібен лише текст.
• Повтори запитів. Кожна спроба, яка встигла завантажити хоч частину сторінки, теж трафік. Цикл без ліміту повторів після капчі чи помилки 429 тихо з'їдає пакет.
• Відповіді без стиснення. Якщо програма не надсилає заголовок Accept-Encoding, сервер віддає текст без стиснення. Браузери надсилають його самі, скрипти — не завжди: curl просить стиснення лише з ключем --compressed.
• Нове з'єднання на кожен запит. Кожне нове HTTPS-з'єднання починається з рукостискання TLS, і ці дані теж проходять через проксі. Без повторного використання з'єднань вони додаються до кожного запиту.
• Точне гео без потреби. Місто, регіон, ZIP чи оператор множать витрату на два. Якщо задачі вистачає країни, точне гео краще вимкнути.

Як виправити

1. Порахуйте очікуваний обсяг: середній розмір сторінки × кількість сторінок × запас на повтори. Для оцінки є калькулятор трафіку.
2. Виміряйте реальну сторінку: в інструментах розробника браузера на вкладці Network унизу видно, скільки даних передано. Для одного запиту curl покаже розмір тіла відповіді без заголовків через -w "%{size_download}".
3. Блокуйте непотрібні ресурси в headless-браузері: у Puppeteer — page.setRequestInterception(true) і request.abort() для картинок, шрифтів і медіа, у Playwright — page.route() з route.abort(). Налаштування проксі — в інструкціях Puppeteer і Playwright.
4. Використовуйте одне з'єднання для серії запитів: у Python — requests.Session(), яка повторно використовує з'єднання (див. інструкцію Python requests). Обмежте кількість повторів і додайте паузу між ними.
5. Вмикайте стиснення: заголовок Accept-Encoding: gzip або ключ --compressed у curl. Точне гео вмикайте лише там, де місто чи оператор справді потрібні; параметри логіна — у довіднику шлюзу.

Як перевірити, що все запрацювало

Після змін запустіть ту саму задачу на невеликій вибірці й порівняйте залишок плану до і після в особистому кабінеті. Щоб пакет не закінчився несподівано, на сторінці плану можна задати ліміт трафіку за годину, добу чи тиждень — зупиняти роботу або лише попереджати, — і ввімкнути сповіщення на пошту чи в Telegram, коли трафік закінчується.

Діагностика за 2 хвилини

Спершу вставте рядок у перевірку проксі. Якщо там проксі працює, причина в програмі чи її налаштуваннях. Якщо ні — перевірте рядок з терміналу:

curl -v -x "http://ЛОГІН:ПАРОЛЬ@gw.prokso.com:823" https://api.ipify.org

• Рядок < HTTP/1.1 407 одразу після CONNECT — відповідає проксі. Назва після коду, наприклад NO_USER, підказує причину.
• Проксі відповів на CONNECT кодом 200, а далі прийшов інший код — проксі працює, цю відповідь дав сайт.
• Жодної відповіді, лише тайм-аут — з'єднання не дійшло до проксі: перевірте хост, порт і мережу.

Інструкції, де трапляється ця помилка

• Налаштування проксі в Octoparse
• Налаштування проксі в Screaming Frog SEO Spider
• Налаштування проксі в ScrapeBox
• Налаштування проксі в Apify
• Налаштування проксі в PhantomBuster
• Налаштування проксі в n8n

Читайте також

• Скільки трафіку треба для проксі: парсинг, соцмережі, ціни