Proxy do zbierania danych ze stron

Rotacja przy każdym żądaniu

Wybierz „Nowy IP przy każdym żądaniu”: jeden endpoint (port 823 dla HTTP, 824 dla SOCKS5) daje nowy IP przy każdym połączeniu. W skrypcie nie musisz niczego przełączać.

Serwerowe czy rezydencjalne

Zacznij od proxy serwerowych: są najszybsze i najtańsze. Jeśli strona zwraca captche lub błędy 403, przejdź na rezydencjalne – wyglądają jak zwykli odwiedzający.

Oszczędzanie transferu

Płacisz za ilość danych, a nie za liczbę żądań. Wyłącz ładowanie niepotrzebnych obrazów, fontów i skryptów, a jeśli strona ma API – korzystaj z niego.

Kontrola błędów

W panelu klienta widzisz log żądań i błędów z podziałem na strony. Jeśli jakaś strona ciągle zwraca błędy, dodaj ją do listy blokowanych, żeby nie marnować transferu.

Błędy, które pojawiają się przy tym zadaniu

• 403 Forbidden
• 429 Too Many Requests
• Cloudflare 1020
• Cloudflare 1015
• Cloudflare 1010
• 444 No Response

Jak strony rozpoznają bota zbierającego dane

Zabezpieczenia stron rzadko patrzą tylko na jeden sygnał. Najczęściej liczą żądania na minutę z jednego IP, sprawdzają, czy adres należy do centrum danych lub jest już oznaczony jako proxy, i porównują nagłówki żądań ze zwykłą przeglądarką. Skrypt, który strzela żądaniami bez przerw, z tym samym User-Agentem i bez cookies, rzuca się w oczy nawet z czystego adresu.

Dlatego proxy rozwiązują tylko część problemu: rozkładają obciążenie i dają adres w odpowiednim kraju. Resztę – tempo, nagłówki, ponowienia – ustawiasz w skrypcie. Żaden dostawca proxy nie obieca, że dana strona nigdy nie pokaże captchy. My też tego nie obiecujemy.

Konfiguracja w pięciu krokach

1. Utwórz plan odpowiedniego typu: serwerowe dla otwartych stron, rezydencjalne dla stron, które odrzucają adresy z centrów danych.
2. Wybierz kraj w generatorze w panelu. Kraj jest wliczony w cenę, a precyzyjna geolokalizacja (miasto, region, kod pocztowy, operator) liczy się ×2. Włączaj ją tylko tam, gdzie odpowiedź strony naprawdę zależy od miasta.
3. Wybierz tryb IP. Port 823 (HTTP) lub 824 (SOCKS5) daje nowy adres przy każdym żądaniu. Porty 10000–20000 dają stały IP na każdym porcie, utrzymywany od 1 do 120 minut (domyślnie 30).
4. Pobierz listę linii w potrzebnym formacie (.txt), na przykład username:password@gw.prokso.com:823 lub host:port:username:password. Jeśli skrypt działa na serwerze ze stałym adresem, możesz dodać go do białej listy IP (do 5 adresów na plan) i obejść się bez loginu i hasła.
5. Podłącz proxy w kodzie według naszych instrukcji: Python requests, Scrapy, Playwright. Do zbierania danych bez kodu jest instrukcja dla Octoparse. Przed uruchomieniem sprawdź linię w sprawdzarce proxy.

Rotacja czy stały IP

Katalogi, karty produktów i otwarte strony bez logowania – tu sprawdza się rotacja przy każdym żądaniu. Każda strona przychodzi z innego adresu i żaden IP nie zbiera podejrzanej liczby odsłon. Więcej o trybach przeczytasz na stronie proxy rotacyjne.

Stały IP jest potrzebny, gdy strona łączy działania w jedną sesję: logowanie, koszyk, paginacja z tokenem, filtry zapisane w cookies. Dla każdego wątku weź osobny port z zakresu 10000–20000 i ustaw czas trwania sesji z zapasem na całą sesję. Adres rezydencjalny może zmienić się wcześniej, jeśli urządzenie przejdzie w tryb offline. Port dostaje wtedy nowy IP w tym samym kraju, więc skrypt powinien umieć zalogować się ponownie.

Jest też trzecia opcja, bez osobnych portów. W trybie zaawansowanym możesz dodać do loginu numer sesji: na portach 823 i 824 żądania z tym samym numerem idą wtedy przez jeden IP przez około 30 minut.

Tempo, błędy 403 i 429

Rotacja nie zastąpi rozsądnego tempa. Kilka zasad, które oszczędzają i transfer, i czas:

• 429 Too Many Requests oznacza, że strona chce, żebyś zwolnił. Stosuj przerwę rosnącą z każdą próbą (na przykład 2, 4, 8 sekund) i zmniejsz liczbę wątków na tej domenie.
• 403 lub captcha oznacza, że podejrzanie wygląda adres albo samo żądanie. Ponów raz lub dwa przez nowy IP. Jeśli błąd się utrzymuje, sprawdź nagłówki i cookies albo przenieś tę stronę na proxy rezydencjalne.
• Ogranicz liczbę ponowień. Niekończące się próby pobrania strony, która nigdy nie odpowie, przepalają transfer. Po 2–3 niepowodzeniach przenieś URL do osobnej kolejki i zajmij się nim później.
• Rozkładaj wątki na domeny. Plan obsługuje do 1000 jednoczesnych połączeń, ale dziesiątki wątków na jedną małą stronę to zły pomysł – i dla Ciebie, i dla strony.
• Filtr anonimowości w ustawieniach puli odrzuca IP, które strony już oznaczyły jako proxy lub VPN. Pomaga na wrażliwych stronach, gdzie odsetek błędów 403 jest wyraźnie wysoki.

Niektóre strony są zamknięte dla wszystkich klientów: zasoby rządowe, banki i systemy płatności. Lista jest na stronie zablokowane strony.

Ile transferu zużywa zbieranie danych

Transfer liczony jest w obu kierunkach, ale większość to odpowiedź strony. Kluczowe pytanie brzmi więc: co dokładnie pobierasz – sam HTML czy pełną stronę z obrazami i skryptami przez przeglądarkę.

To dane orientacyjne: waga stron bardzo się różni w zależności od serwisu. Najdokładniej będzie uruchomić małą partię 100–200 stron i sprawdzić zużycie w panelu. Żeby zmieścić się w budżecie, ustaw na planie limit transferu (na godzinę, dzień lub tydzień), który zatrzyma plan albo wyśle ostrzeżenie. Proxy serwerowe kosztują $0.65 za GB, rezydencjalne $1.59. Cena jest taka sama przy każdej ilości; szczegóły znajdziesz w cenniku.

Jakie kraje wybrać

Przy globalnych serwisach kraj zwykle nie ma znaczenia i możesz wziąć dowolny ze 195. Ale wiele sklepów i serwisów pokazuje różne ceny, języki i asortyment w zależności od kraju odwiedzającego. Wtedy bierz IP z kraju, którego dane potrzebujesz: Stany Zjednoczone dla amerykańskich platform sprzedażowych, Niemcy i Holandię dla europejskich, Wielką Brytanię dla brytyjskich, Polskę i Ukrainę dla lokalnych. Proxy mobilne rzadko przydają się do zbierania danych, chyba że strona pokazuje inne treści użytkownikom sieci komórkowych.

I uczciwa uwaga o puli: jest współdzielona, więc z adresu mógł wcześniej korzystać inny klient. Dlatego na restrykcyjnych stronach część IP może od razu trafić na captchę. To normalne – zwykle pomaga ponowienie przez nowy adres. UDP nie jest obsługiwany, ale zbieranie danych przez HTTP go nie potrzebuje.

Najlepsze proxy do zbierania danych ze stron: jaki typ wybrać

Najlepsze proxy do zbierania danych ze stron to te, które przechodzą na Twojej docelowej stronie najmniejszym kosztem. Zacznij od IP serwerowych: za $0.65 za GB to najtańsze proxy do zbierania danych i wystarczą na większość publicznych stron. Jeśli strona blokuje zakresy centrów danych, skieruj ten sam skrypt na IP rezydencjalne ($1.59 za GB) – zmienia się tylko linia połączenia. Jako usługa proxy do zbierania danych rozliczamy się za GB, bez abonamentu, więc transfer czeka na planie, aż skrypt go zużyje.