- Витрата залежить від ваги сторінок, а не від кількості запитів
- Сторінка без картинок важить у 5–10 разів менше, ніж повністю
- Відео й автозавантаження стрічок — головні «пожирачі» трафіку в соцмережах
- Точну цифру дає лише замір на своєму завданні: почніть з малого обсягу
Проксі з оплатою за трафік рахують обсяг даних, а не кількість запитів. Тому на запитання «скільки гігабайтів мені потрібно» немає відповіді без другого запитання: що саме і як ви завантажуєте. Та сама тисяча сторінок може коштувати і сто мегабайтів, і три гігабайти.
З чого складається витрата
Через проксі йдуть запит і відповідь. Запит важить мало — сотні байтів. Майже весь обсяг дає відповідь сайту: HTML, картинки, стилі, скрипти, шрифти, відео. Браузер завантажує все це автоматично; парсер — лише те, що ви попросили.
Скільки важить одна дія
Цифри нижче — орієнтири. У конкретного сайту вони можуть відрізнятися в рази, тому своє завдання краще виміряти.
| Що завантажуєте | Приблизна вага | На 1000 дій |
|---|---|---|
| Відповідь API або лише HTML | близько 0,1 МБ | близько 0,1 ГБ |
| Сторінка пошукової видачі | близько 0,3 МБ | близько 0,3 ГБ |
| Сторінка без картинок | близько 0,5 МБ | близько 0,5 ГБ |
| Сторінка повністю, з картинками | близько 2,5 МБ | близько 2,5 ГБ |
| Стрічка соцмережі, 10 хвилин без відео | близько 30 МБ | — |
Три типові завдання
Моніторинг цін. 5000 карток товарів раз на день без картинок — близько 2,5 ГБ на день, 75 ГБ на місяць. Якщо сайт віддає ціни через API, той самий обсяг вкладеться в 15 ГБ.
Зняття позицій. 2000 запитів на день по одній сторінці видачі — близько 0,6 ГБ на день, 18 ГБ на місяць.
Ведення акаунтів. Десять акаунтів по 20 хвилин на день без відео — близько 0,6 ГБ на день. З переглядом відео витрата зросте в кілька разів: хвилина відео може важити більше, ніж година текстової стрічки.
Як виміряти вагу своєї сторінки
- Відкрийте сторінку в браузері й увімкніть інструменти розробника, вкладка «Мережа».
- Оновіть сторінку й подивіться підсумок унизу: скільки передано.
- Вимкніть у тій самій вкладці кеш — інакше цифра буде заниженою.
- Якщо працюєте парсером, подивіться розмір відповіді в його логах: це і є реальна витрата.
Як скоротити витрату
- Не завантажуйте картинки й відео, якщо вони не потрібні. У браузерах для автоматизації це робиться блокуванням типів ресурсів.
- Беріть дані з API, коли він є: відповідь у десятки разів легша за сторінку.
- Не запитуйте те саме двічі — зберігайте отримане.
- Не вимикайте стиснення: більшість бібліотек вмикає його за замовчуванням.
- Вимкніть автовідтворення відео в профілях для соцмереж.
Який тип проксі обрати під обсяг
Для великих обсягів відкритих даних починайте із серверних проксі: у них найнижча ціна за гігабайт і найвища швидкість. Якщо сайт відповідає капчею або відмовами, спершу знизьте частоту запитів, потім переходьте на резидентські. Для акаунтів у соцмережах трафіку потрібно небагато, і там частіше беруть мобільні.
З чого почати
Як не витратити зайвого
Помилка в скрипті може за ніч витратити весь план: цикл повторює запити або завантажує відео. У Prokso від цього є два захисти в налаштуваннях плану:
- Ліміт трафіку — скільки гігабайтів план може витратити за годину, день, тиждень або 30 днів. Дійшли до ліміту — план стане на паузу, а вам прийде сповіщення.
- Заблоковані сайти — список адрес, на які трафік не піде взагалі. Зручно, щоб відсікти важкі сайти з відео або рекламні домени.
Витрату за днями й сайтами видно в статистиці плану: так легко знайти, куди пішли гігабайти.
Як прикинути обсяг заздалегідь
Для першої оцінки скористайтеся калькулятором трафіку: виберіть, що завантажуєте, скільки дій на день і скільки днів, — він порахує приблизний обсяг і вартість. Потім звірте його з реальною витратою за перші дні роботи й докупіть стільки, скільки потрібно.
Не намагайтеся вгадати обсяг на місяць наперед. Купіть невеликий обсяг, попрацюйте день-два і подивіться реальну витрату в статистиці плану. У Prokso куплені гігабайти не згорають, тому запас не пропаде, а докупити можна будь-коли — ціни на сторінці тарифи.
Питання й відповіді
Скільки гігабайтів потрібно на 1000 сторінок?
Якщо забирати лише HTML — близько 0,1–0,5 ГБ. Якщо завантажувати сторінки повністю з картинками — 2–3 ГБ. Точніше покаже замір на вашому сайті.
Чи рахується трафік, якщо запит завершився помилкою?
Так, рахується все, що пройшло через проксі. Але відповідь з помилкою зазвичай важить лічені кілобайти.
Чому трафік витрачається швидше, ніж я очікував?
Найчастіше через картинки, відео та скрипти, які браузер завантажує разом зі сторінкою, а також через повторні запити.
Чи можна обмежити витрату трафіку?
Так. У налаштуваннях плану задайте ліміт на годину, день, тиждень або 30 днів: коли його буде досягнуто, план стане на паузу і прийде сповіщення.
Де подивитися, на які сайти пішов трафік?
У статистиці плану в кабінеті: там витрата за днями та журнал звернень до сайтів.
