Proxy do zbierania wyników wyszukiwania Google

Czym to się różni od śledzenia pozycji

Jeśli chcesz wiedzieć, na którym miejscu jest Twoja własna strona, to scenariusz SEO i pozycje w wyszukiwarce. A w przypadku pozycji własnej strony zacznij od Google Search Console: dane pochodzą tam od samego Google, bez zapytań do SERP.

Ta strona dotyczy innego zadania. Firmy badawcze i agencje SEO zbierają dane z SERP na dużą skalę: tysiące zapytań w kilku krajach, miastach i językach. Interesuje je cała strona wyników: kto jest na górze w danej niszy, które serwisy pojawiają się najczęściej, gdzie wyświetlają się reklamy, wyniki zakupowe i mapy.

Od czego zależą wyniki

Google dopasowuje wyniki do odwiedzającego. Na SERP wpływają:

• kraj – to samo zapytanie wynosi na górę inne strony w USA i w Kanadzie;
• miasto – zwłaszcza przy zapytaniach typu „dentysta” czy „dostawa kwiatów”;
• język – parametr hl ustawia język interfejsu, a gl – kraj wyników;
• urządzenie – SERP mobilny i desktopowy różnią się zestawem bloków.

Parametry hl i gl pomagają, ale nie zastępują lokalizacji. Google częściowo dobiera wyniki lokalne na podstawie IP odwiedzającego. Dlatego do danych o Niemczech używaj niemieckiego IP, a do danych o Polsce – polskiego. Typ urządzenia określa przeglądarka i jej nagłówki, a nie proxy: do mobilnego SERP używaj mobilnego profilu przeglądarki.

Co zbierać z SERP

Typowa strona wyników dawno przestała być dziesięcioma niebieskimi linkami. Do badań zwykle zapisuje się:

• wyniki organiczne i ich kolejność;
• local pack z mapą i firmami – zależy od miasta bardziej niż cokolwiek innego;
• reklamy na górze i na dole strony;
• bloki zakupowe z cenami i sklepami;
• bloki z pytaniami, wideo i wiadomościami.

Do local pack włącz tryb zaawansowany w generatorze: możesz tam wskazać region (w USA – stan), dowolne miasto po nazwie, kod ZIP lub operatora (ASN). Transfer z dokładnym geo jest liczony podwójnie, więc włączaj go tylko dla zapytań o lokalnej intencji. Przy ogólnych zapytaniach na poziomie kraju wystarczy wybór kraju.

Razem z wynikami zapisuj warunki zbierania: zapytanie, kraj, miasto, język, typ urządzenia, datę i godzinę. Bez nich wyników z Toronto i Vancouver zebranych w różne dni nie da się potem rzetelnie porównać. Powtarzaj zbieranie na tej samej liście zapytań, żeby widzieć realne zmiany, a nie przypadkowy szum.

Nowy IP przy każdym żądaniu

Do zbierania na dużą skalę dobrze sprawdza się tryb „Nowy IP przy każdym żądaniu”: port 823 (HTTP) lub 824 (SOCKS5) daje nowy adres przy każdym żądaniu. Twój skrypt łączy się przez jeden adres, a IP zmienia się po naszej stronie. Przykład kodu znajdziesz w instrukcji Python requests.

Plan pozwala na maksymalnie 1000 jednoczesnych połączeń. To pułap, a nie zalecenie: zacznij od kilku wątków i obserwuj, jak zmienia się odsetek odpowiedzi z weryfikacją.

Dlaczego Google pokazuje weryfikację

Google sprawdza, na ile strumień zapytań przypomina zachowanie człowieka. Gdy zapytań jest za dużo i przychodzą za często, Google pokazuje stronę o nietypowym ruchu i CAPTCHA. Co oznacza ta strona i co z nią zrobić, omawiamy w analizie błędu Google „unusual traffic”.

Nie obiecujemy, że CAPTCHA się nie pojawi, i nie doradzamy, jak ją obchodzić. Działają spokojne metody:

1. Zwolnij. Rób przerwy między zapytaniami i ogranicz liczbę wątków.
2. Rozłóż zbieranie w czasie. Rozdziel zapytania na cały dzień, zamiast wysyłać wszystko w ciągu godziny.
3. Korzystaj z cache. Wyniki większości zapytań nie zmieniają się w ciągu minut – nie pobieraj ich ponownie.
4. Zbieraj tylko to, czego potrzebujesz. Jedna strona wyników zamiast pięciu często daje wystarczająco dużo danych.

Więcej o spokojnej pracy w ramach limitów znajdziesz na stronie o błędzie 429.

Jakie proxy wybrać

Do SERP Google zwykle wybiera się proxy rezydencjalne za $1.59 za GB. To adresy domowych dostawców internetu, a Google widzi je jako zwykłych użytkowników. Włącz filtr anonimowości w ustawieniach puli: odsiewa IP, które serwisy już oznaczyły jako proxy lub VPN.

Proxy serwerowe za $0.65 za GB częściej trafiają na weryfikację w wyszukiwarce Google, ale przy małych wolumenach się sprawdzają. Proxy mobilne za $2.50 za GB przydają się, jeśli badasz mobilny SERP i chcesz adresu operatora 4G/5G.

Co warto wiedzieć z góry

• Proxy nie znosi warunków korzystania z Google: za tempo i wolumen zbierania odpowiadasz Ty.
• Pula jest współdzielona: wcześniej z adresu mógł korzystać inny klient, więc niektóre IP mogą od razu dostać weryfikację.
• Nie obiecujemy, że Google zaakceptuje konkretny adres: tę decyzję podejmuje sam Google.

Ile transferu potrzebujesz

Strona wyników bez obrazów jest lekka, ale tysiące zapytań dziennie składają się na zauważalny wolumen. Wyłącz ładowanie obrazów i skryptów, jeśli potrzebujesz tylko HTML. Transfer liczy się w obu kierunkach. Kalkulator transferu pomoże oszacować wolumen; kupione gigabajty nie wygasają, a ceny znajdziesz w cenniku.

Błędy, które pojawiają się przy tym zadaniu

• Google: nietypowy ruch
• 429 Too Many Requests
• 403 Forbidden