- Расход зависит от веса страниц, а не от числа запросов
- Страница без картинок весит в 5–10 раз меньше, чем целиком
- Видео и автозагрузка лент — главные «пожиратели» трафика в соцсетях
- Точную цифру даёт только замер на своей задаче: начните с малого объёма
Прокси с оплатой за трафик считают объём данных, а не число запросов. Поэтому на вопрос «сколько гигабайт мне нужно» нет ответа без второго вопроса: что именно и как вы загружаете. Одна и та же тысяча страниц может стоить и сто мегабайт, и три гигабайта.
Из чего складывается расход
Через прокси идут запрос и ответ. Запрос весит мало — сотни байт. Почти весь объём даёт ответ сайта: HTML, картинки, стили, скрипты, шрифты, видео. Браузер загружает всё это автоматически; парсер — только то, что вы попросили.
Сколько весит одно действие
Цифры ниже — ориентиры. У конкретного сайта они могут отличаться в разы, поэтому свою задачу лучше измерить.
| Что загружаете | Примерный вес | На 1000 действий |
|---|---|---|
| Ответ API или только HTML | около 0,1 МБ | около 0,1 ГБ |
| Страница поисковой выдачи | около 0,3 МБ | около 0,3 ГБ |
| Страница без картинок | около 0,5 МБ | около 0,5 ГБ |
| Страница целиком, с картинками | около 2,5 МБ | около 2,5 ГБ |
| Лента соцсети, 10 минут без видео | около 30 МБ | — |
Три типовые задачи
Мониторинг цен. 5000 карточек товаров раз в день без картинок — около 2,5 ГБ в день, 75 ГБ в месяц. Если сайт отдаёт цены через API, тот же объём уложится в 15 ГБ.
Съём позиций. 2000 запросов в день по одной странице выдачи — около 0,6 ГБ в день, 18 ГБ в месяц.
Ведение аккаунтов. Десять аккаунтов по 20 минут в день без видео — около 0,6 ГБ в день. Со смотрением видео расход вырастет в несколько раз: минута видео может весить больше, чем час текстовой ленты.
Как измерить вес своей страницы
- Откройте страницу в браузере и включите инструменты разработчика, вкладка «Сеть».
- Обновите страницу и посмотрите итог внизу: сколько передано.
- Отключите в той же вкладке кэш — иначе цифра будет заниженной.
- Если работаете парсером, посмотрите размер ответа в его логах: это и есть реальный расход.
Как сократить расход
- Не загружайте картинки и видео, если они не нужны. В браузерах для автоматизации это делается блокировкой типов ресурсов.
- Берите данные из API, когда он есть: ответ в десятки раз легче страницы.
- Не запрашивайте одно и то же дважды — сохраняйте полученное.
- Не отключайте сжатие: большинство библиотек включает его по умолчанию.
- Отключите автовоспроизведение видео в профилях для соцсетей.
Какой тип прокси выбрать под объём
Для больших объёмов открытых данных начинайте с серверных прокси: у них самая низкая цена за гигабайт и самая высокая скорость. Если сайт отвечает капчей или отказами, сначала снизьте частоту запросов, потом переходите на резидентские. Для аккаунтов в соцсетях трафика нужно немного, и там чаще берут мобильные.
С чего начать
Как не потратить лишнее
Ошибка в скрипте может за ночь израсходовать весь план: цикл повторяет запросы или загружает видео. В Prokso от этого есть две защиты в настройках плана:
- Лимит трафика — сколько гигабайт план может потратить за час, день, неделю или 30 дней. Дошли до лимита — план встанет на паузу, а вам придёт уведомление.
- Заблокированные сайты — список адресов, на которые трафик не пойдёт вообще. Удобно, чтобы отсечь тяжёлые сайты с видео или рекламные домены.
Расход по дням и сайтам видно в статистике плана: так легко найти, куда ушли гигабайты.
Как прикинуть объём заранее
Для первой оценки воспользуйтесь калькулятором трафика: выберите, что загружаете, сколько действий в день и сколько дней, — он посчитает примерный объём и стоимость. Потом сверьте его с реальным расходом за первые дни работы и докупите столько, сколько нужно.
Не пытайтесь угадать объём на месяц вперёд. Купите небольшой объём, поработайте день-два и посмотрите реальный расход в статистике плана. В Prokso купленные гигабайты не сгорают, поэтому запас не пропадёт, а докупить можно в любой момент — цены на странице тарифы.
Вопросы и ответы
Сколько гигабайт нужно на 1000 страниц?
Если забирать только HTML — около 0,1–0,5 ГБ. Если загружать страницы целиком с картинками — 2–3 ГБ. Точнее покажет замер на вашем сайте.
Считается ли трафик, если запрос завершился ошибкой?
Да, считается всё, что прошло через прокси. Но ответ с ошибкой обычно весит считаные килобайты.
Почему трафик расходуется быстрее, чем я ожидал?
Чаще всего из-за картинок, видео и скриптов, которые браузер загружает вместе со страницей, а также из-за повторных запросов.
Можно ли ограничить расход трафика?
Да. В настройках плана задайте лимит на час, день, неделю или 30 дней: когда он будет достигнут, план встанет на паузу и придёт уведомление.
Где посмотреть, на какие сайты ушёл трафик?
В статистике плана в кабинете: там расход по дням и журнал обращений к сайтам.
