Proxy do monitoringu cen

Nowy IP przy każdym żądaniu

Wybierz tryb „Nowy IP przy każdym żądaniu”: jeden endpoint (port 823 dla HTTP, 824 dla SOCKS5) daje nowy IP przy każdym połączeniu. Twój skrypt łączy się przez jedno proxy, a zmianą adresów zajmujemy się my. Przykład kodu znajdziesz w instrukcji Python requests.

Serwerowe do dużych wolumenów, rezydencjalne do chronionych stron

Większość sklepów internetowych bez problemu wyświetla strony adresom serwerowym. Są najszybsze i najtańsze, więc zacznij od nich. Jeśli konkretny sklep odpowiada captchą albo kodem 403, przełącz na rezydencjalne tylko ten sklep, a resztę zostaw na serwerowych.

Ceny regionalne

Niektóre sklepy pokazują różne ceny i dostępność w zależności od miasta. Jeśli potrzebujesz ceny właśnie dla Kijowa czy Dniepru, włącz precyzyjną geolokalizację. Transfer liczy się wtedy ×2, więc używaj jej tylko dla tych sklepów.

Delikatne obciążenie

Rotacja nie zastępuje dobrych obyczajów. Sprawdź robots.txt, rób przerwy między żądaniami do tej samej strony, nie kieruj setek wątków na jeden sklep i zbieraj ceny tylko tak często, jak naprawdę potrzebujesz. Jeśli sklep udostępnia otwarty plik z danymi lub API, pobieraj dane stamtąd.

Ile to kosztuje

Płacisz za gigabajty, a nie za żądania. Pobieraj sam HTML, bez obrazów, fontów i skryptów: strona produktu waży wtedy kilkadziesiąt kilobajtów, a tysiące sprawdzeń mieszczą się w niewielkim wolumenie. Kupiony transfer nie wygasa.

Błędy, które pojawiają się przy tym zadaniu

• 403 Forbidden
• 429 Too Many Requests
• Cloudflare 1006, 1007, 1008
• Cloudflare 1012

Jak sklep odróżnia monitoring cen od kupującego

Sklepy internetowe i platformy sprzedażowe chronią swoje katalogi przed masowym pobieraniem tak samo jak inne strony. Liczą żądania z jednego IP, rozpoznają adresy serwerowe, sprawdzają nagłówki, ciasteczka i to, czy klient wykonuje JavaScript. Duże platformy sprzedażowe są surowsze niż małe sklepy i to tam captche pojawiają się najczęściej.

Proxy rozkładają żądania na wiele adresów i dają IP z właściwego kraju, ale nie czynią skryptu niewidzialnym. Tempo, nagłówki i obsługę błędów ustawiasz Ty. Nikt nie zagwarantuje, że sklep nigdy nie ograniczy dostępu.

Działająca konfiguracja w pięciu krokach

1. Podziel listę sklepów na dwie grupy: te, które bez problemu wyświetlają strony, i te, które odpowiadają captchą albo kodem 403. Pierwszą grupę puść przez proxy serwerowe, drugą przez rezydencjalne.
2. Utwórz osobny plan dla każdej grupy lub każdego klienta. Plan ma własny login, hasło, saldo i limit transferu, więc łatwo rozliczać koszty osobno.
3. Wybierz kraj sklepu w generatorze i tryb „Nowy IP przy każdym żądaniu”: port 823 dla HTTP lub 824 dla SOCKS5. Więcej o rotacji przeczytasz na stronie proxy rotacyjne.
4. Podłącz program do pobierania danych według instrukcji dla Scrapy albo Playwright, jeśli cena jest ładowana skryptem. Jeśli nie piszesz kodu, wystarczy Octoparse.
5. Sprawdź połączenie w sprawdzarce proxy i uruchom małą partię 50–100 produktów, żeby zobaczyć rzeczywiste zużycie transferu.

Ceny zależne od miasta i koszyka

Niektóre sklepy pokazują cenę dopiero po wybraniu miasta lub sposobu dostawy i zapisują ten wybór w ciasteczkach. Rotacja przy każdym żądaniu przeszkadza tu: następna strona otwiera się z nowego IP bez zapisanego miasta. Weź stały IP na portach 10000–20000 i trzymaj go przez cały czas przeglądania jednego sklepu. Zwykle wystarcza 10–30 minut.

Jeśli sklep ustala miasto na podstawie IP, potrzebujesz precyzyjnej geolokalizacji z miastem lub operatorem. Liczy się ona ×2, więc włączaj ją tylko dla tych sklepów. Adres rezydencjalny może zmienić się przed ustawionym czasem, jeśli urządzenie przejdzie w tryb offline. Port dostaje wtedy nowy IP z tego samego kraju, a program do pobierania danych musi ponownie wybrać miasto.

Błędy i czyste dane

W monitoringu cen zła odpowiedź jest gorsza niż brak odpowiedzi: błędna cena trafia do raportów i decyzji. Kilka zasad:

• Sprawdzaj stronę przed zapisem. Kod 200 nie oznacza sukcesu: sklep może zwrócić stronę z captchą albo zaślepkę zamiast ceny. Szukaj na stronie SKU, ceny i waluty, a jeśli ich brakuje, ponów żądanie.
• 429 oznacza: zwolnij. Stosuj przerwę rosnącą z każdą próbą i zmniejsz liczbę wątków dla tego sklepu.
• 403 lub captcha: ponów żądanie przez nowy IP raz lub dwa razy. Jeśli to nie pomoże, przenieś sklep do grupy rezydencjalnej albo włącz filtr anonimowości w ustawieniach puli.
• Ogranicz ponowienia do 2–3 prób, a nieudane produkty zostaw na następny przebieg. Dzięki temu transfer nie idzie na strony, które akurat nie odpowiadają.
• Oznaczaj gwałtowne skoki. Jeśli cena zmieniła się kilkukrotnie, sprawdź ją ponownie, zanim na jej podstawie podejmiesz działanie.

Ile transferu zużywa monitoring

Różnica między wierszami pokazuje najważniejsze: format pobierania oszczędza więcej niż typ proxy. Jeśli sklep zwraca cenę w HTML albo przez wywołanie własnego API, nie otwieraj strony w przeglądarce. Proxy serwerowe kosztują $0.65 za GB, rezydencjalne $1.59. Ustaw limit transferu w planie i włącz powiadomienia e-mail lub w Telegramie o kończącym się transferze, żeby nocny przebieg nie zatrzymał się niezauważony.

Liczby w tabeli są orientacyjne: strona produktu w jednym sklepie waży kilkadziesiąt kilobajtów, w innym kilkaset. Uruchom małą partię i sprawdź dokładne zużycie w panelu klienta. Kupiony transfer nie ma terminu ważności, więc transfer na kilka miesięcy do przodu się nie zmarnuje.

Harmonogram przeglądania

Nie każdy produkt trzeba sprawdzać równie często. Ceny bestsellerów i kategorii promocyjnych zmieniają się codziennie, a rzadkich akcesoriów raz na kilka tygodni. Podziel katalog na grupy: częste sprawdzenia dla topowych produktów i bezpośrednich konkurentów, cotygodniowe dla reszty. To kilkukrotnie zmniejsza liczbę żądań, a więc i transfer, bez przeoczenia ważnych zmian.

Rozkładaj każdy przebieg w czasie. Tysiąc stron jednego sklepu lepiej przejrzeć w ciągu godziny kilkoma wątkami niż w pięć minut wszystkimi naraz: sklep nie zauważy skoku, a Ty dostaniesz mniej captch. Nowości konkurencji łatwiej znaleźć przez mapę strony (sitemap) albo otwarty plik z danymi niż przez pełne codzienne przeglądanie katalogu.

Jeśli serwer sklepu obsługuje żądania warunkowe z nagłówkami If-Modified-Since lub ETag, niezmieniona strona wraca jako niemal pusta odpowiedź. Przy dużych katalogach to odczuwalna oszczędność.

Kraje do monitoringu

IP powinien pochodzić z kraju, z którego zbierasz ceny: sklepy często pokazują inną walutę lub asortyment albo przekierowują na inną wersję językową. Dla rynku ukraińskiego wybierz Ukrainę; dla rynków sąsiednich i europejskich – Polskę, Niemcy i Francję. Importerom i sprzedawcom na międzynarodowych platformach sprzedażowych przydadzą się Turcja i Stany Zjednoczone.

Pula jest współdzielona, więc na surowych platformach sprzedażowych niektóre adresy mogą od razu dostać captchę. To normalne i rozwiązuje się ponowieniem przez nowy IP. Proxy mobilne rzadko są potrzebne do monitoringu cen – tylko wtedy, gdy sklep pokazuje inne ceny w sieciach komórkowych.