- Zużycie zależy od wagi stron, a nie od liczby żądań
- Strona bez obrazków waży 5–10 razy mniej niż pełna
- Wideo i automatycznie doładowywane feedy to główni pożeracze transferu w social mediach
- Dokładną liczbę da tylko pomiar na Twoim własnym zadaniu: zacznij od małego pakietu
Proxy rozliczane za transfer liczą ilość danych, a nie liczbę żądań. Dlatego pytanie „ile gigabajtów potrzebuję” nie ma odpowiedzi bez drugiego pytania: co dokładnie i jak ładujesz. Ten sam tysiąc stron może kosztować sto megabajtów albo trzy gigabajty.
Z czego składa się zużycie
Przez proxy przechodzi żądanie i odpowiedź. Żądanie waży mało: setki bajtów. Prawie cały wolumen to odpowiedź strony: HTML, obrazki, style, skrypty, czcionki, wideo. Przeglądarka ładuje to wszystko automatycznie, a scraper – tylko to, o co go poprosisz.
Ile waży jedno działanie
Poniższe liczby to punkty orientacyjne. Dla konkretnej strony mogą różnić się kilkukrotnie, dlatego lepiej zmierzyć własne zadanie.
| Co ładujesz | Przybliżona waga | Na 1000 działań |
|---|---|---|
| Odpowiedź API lub sam HTML | około 0,1 MB | około 0,1 GB |
| Strona wyników wyszukiwania | około 0,3 MB | około 0,3 GB |
| Strona bez obrazków | około 0,5 MB | około 0,5 GB |
| Pełna strona z obrazkami | około 2,5 MB | około 2,5 GB |
| Feed w social mediach, 10 minut bez wideo | około 30 MB | — |
Trzy typowe zadania
Monitoring cen. 5000 stron produktów raz dziennie bez obrazków to około 2,5 GB dziennie, 75 GB miesięcznie. Jeśli strona podaje ceny przez API, ten sam wolumen zmieści się w 15 GB.
Monitoring pozycji. 2000 zapytań dziennie, po jednej stronie wyników na każde, to około 0,6 GB dziennie, 18 GB miesięcznie.
Prowadzenie kont. Dziesięć kont po 20 minut dziennie bez wideo to około 0,6 GB dziennie. Z oglądaniem wideo zużycie rośnie kilkukrotnie: minuta wideo może ważyć więcej niż godzina tekstowego feedu.
Jak zmierzyć wagę swojej strony
- Otwórz stronę w przeglądarce i włącz narzędzia deweloperskie, kartę „Network” (Sieć).
- Przeładuj stronę i spójrz na sumę na dole: ile zostało przesłane.
- Na tej samej karcie wyłącz pamięć podręczną, inaczej wynik będzie zaniżony.
- Jeśli pracujesz ze scraperem, sprawdź rozmiar odpowiedzi w jego logach: to jest realne zużycie.
Jak zmierzyć jedno żądanie poleceniem curl
Narzędzia deweloperskie pokazują wagę strony w przeglądarce. W skryptach wygodniej zmierzyć to samo żądanie, które wykona Twój kod - przez proxy i od razu z liczbami:
curl -s -o /dev/null --compressed -x "http://LOGIN:PASSWORD@gw.prokso.com:823" \
-w "sent: %{size_request} + %{size_upload} B, received: %{size_header} + %{size_download} B\n" \
https://example.com/size_request i size_upload to bajty wysłane do strony, size_header i size_download - bajty, które wróciły. Flaga --compressed prosi o skompresowaną odpowiedź, tak jak robi to przeglądarka; bez niej ta sama strona może ważyć kilka razy więcej.
Pomnóż sumę przez liczbę żądań dziennie i liczbę dni - to szacunek wolumenu. Faktyczne zużycie będzie nieco większe, bo przez proxy idą też dane szyfrowania. Dokładną liczbę po pierwszych dniach pokaże statystyka planu, a koszt z góry pomoże oszacować kalkulator transferu.
Jak zmniejszyć zużycie
- Nie ładuj obrazków i wideo, jeśli ich nie potrzebujesz. W przeglądarkach do automatyzacji robi się to przez blokowanie typów zasobów.
- Pobieraj dane z API, jeśli jest dostępne: odpowiedź jest dziesiątki razy lżejsza niż strona.
- Nie pobieraj dwa razy tego samego: zapisuj to, co już otrzymałeś.
- Nie wyłączaj kompresji: większość bibliotek włącza ją domyślnie.
- Wyłącz autoodtwarzanie wideo w profilach do social mediów.
Jaki typ proxy wybrać do Twojego wolumenu
Przy dużych wolumenach otwartych danych zacznij od proxy serwerowych (datacenter): mają najniższą cenę za gigabajt i najwyższą prędkość. Jeśli strona odpowiada CAPTCHA lub odmowami, najpierw zmniejsz częstotliwość żądań, a potem przejdź na rezydencjalne. Konta w social mediach potrzebują mało transferu i tam częściej wybiera się proxy mobilne.
Od czego zacząć
Jak nie wydać za dużo
Błąd w skrypcie potrafi w nocy zużyć cały plan: pętla powtarza żądania albo pobiera wideo. Prokso ma na to dwa zabezpieczenia w ustawieniach planu:
- Limit transferu - ile gigabajtów plan może zużyć na godzinę, dzień, tydzień lub 30 dni. Po osiągnięciu limitu plan zostaje wstrzymany, a Ty dostajesz powiadomienie.
- Zablokowane strony - lista adresów, na które transfer w ogóle nie pójdzie. Przydaje się do odcięcia ciężkich serwisów wideo lub domen reklamowych.
Zużycie według dni i stron widać w statystykach planu: łatwo dzięki temu znaleźć, gdzie poszły gigabajty.
Jak oszacować wolumen z góry
Do pierwszej oceny użyj kalkulatora transferu: wybierz, co ładujesz, ile działań dziennie i przez ile dni - policzy przybliżony wolumen i koszt. Potem porównaj to z faktycznym zużyciem w pierwszych dniach pracy i doładuj tyle, ile potrzebujesz.
Nie próbuj zgadywać wolumenu na miesiąc do przodu. Kup mały pakiet, popracuj dzień lub dwa i sprawdź realne zużycie w statystykach planu. W Prokso kupione gigabajty nie wygasają, więc zapas nie przepadnie, a dokupić możesz w dowolnym momencie. Ceny znajdziesz w cenniku.
Pytania i odpowiedzi (FAQ)
Ile gigabajtów zajmuje 1000 stron?
Jeśli pobierasz tylko HTML, około 0,1–0,5 GB. Jeśli ładujesz pełne strony z obrazkami, 2–3 GB. Dokładniej pokaże pomiar na Twojej stronie.
Czy transfer jest liczony, jeśli żądanie zakończyło się błędem?
Tak, liczy się wszystko, co przeszło przez proxy. Ale odpowiedź z błędem waży zwykle zaledwie kilka kilobajtów.
Dlaczego transfer schodzi szybciej, niż się spodziewałem?
Najczęściej przez obrazki, wideo i skrypty, które przeglądarka ładuje razem ze stroną, oraz przez powtarzane żądania.
Czy mogę ograniczyć zużycie transferu?
Tak. W ustawieniach planu ustaw limit na godzinę, dzień, tydzień lub 30 dni: po jego osiągnięciu plan zostaje wstrzymany, a Ty dostajesz powiadomienie.
Gdzie zobaczę, na jakie strony poszedł transfer?
W statystykach planu w panelu klienta: widać tam zużycie według dni i dziennik żądań do stron.
