Proxy do serwisów z nieruchomościami

Komu i po co to potrzebne

Agencje pilnują, jak wyświetlają się ich własne nieruchomości i oferty konkurencji. Inwestorzy przed zakupem porównują ceny i czynsze w różnych miastach. Analitycy zbierają publiczne dane z ogłoszeń, żeby wyliczać średnie ceny, czas sprzedaży i zmiany popytu.

Wszystkie te zadania wymagają spojrzenia od wewnątrz rynku. Duże platformy obsługują własny kraj: Zillow i Realtor.com – USA, Rightmove i Zoopla – Wielką Brytanię, Immowelt i ImmoScout24 – Niemcy, Otodom – Polskę, DOM.RIA – Ukrainę. Część z nich ogranicza lub zmienia to, co pokazuje odwiedzającym z innych krajów.

Najpierw zasady i dane

Zbieraj tylko publiczne dane ogłoszeń: cenę, powierzchnię, dzielnicę, liczbę pokoi, datę publikacji. Imiona, numery telefonów i adresy e-mail prywatnych sprzedawców to dane osobowe. Ich zbieranie i przechowywanie regulują przepisy, na przykład RODO w UE i Wielkiej Brytanii, i tę kwestię trzeba rozstrzygnąć z prawnikiem, a nie za pomocą proxy.

Wiele platform oferuje oficjalne eksporty danych, API lub programy partnerskie dla agencji i firm analitycznych. Jeśli taka opcja istnieje, zacznij od niej: dane przychodzą gotowe do użycia, a warunki korzystania są jasne od początku. Proxy służy do sytuacji, gdy oficjalnego kanału nie ma albo trzeba sprawdzić, co naprawdę widzi odwiedzający.

Przeczytaj zasady serwisu i trzymaj rozsądne tempo: nie obciążaj platformy bardziej niż staranny analityk ze skryptem. Proxy nie znosi zasad platformy.

Ogłoszenia i ceny według miast i kodów ZIP

W serwisach z nieruchomościami wyniki wyszukiwania mocno zależą od lokalizacji. Mieszkanie w Bostonie i w Austin, dom pod Manchesterem i w Londynie, wynajem w Monachium i w Lipsku – to różne rynki. Wiele platform uzupełnia też region na podstawie IP odwiedzającego, jeśli wyszukiwanie go nie określa.

Do obrazu całego kraju wybierz kraj w generatorze. Jeśli potrzebujesz konkretnego rynku, włącz tryb zaawansowany: możesz tam wskazać region (w USA – stan), dowolne miasto po nazwie lub kod ZIP. Pamiętaj: transfer z dokładnym geo (region, miasto, ZIP lub operator (ASN)) jest liczony podwójnie. Włączaj go tam, gdzie adres naprawdę zmienia wyniki.

Sprawdzaj w czystym profilu przeglądarki bez logowania. Platformy zapamiętują ostatnio wyszukiwane miasto i zapisane filtry, a te nadpiszą lokalizację Twojego IP.

Regularny monitoring ogłoszeń

Typowe zadanie to raz dziennie przejrzeć nowe ogłoszenia w kilku miastach i oznaczyć zmiany cen. Dobrze sprawdza się tu tryb „Nowy IP przy każdym żądaniu”: port 823 (HTTP) lub 824 (SOCKS5) daje nowy adres przy każdym żądaniu, a obciążenie rozkłada się na różne IP.

1. Przygotuj listę stron wyników dla potrzebnych miast i filtrów.
2. Przeglądaj je z przerwami i zapisuj tylko potrzebne pola.
3. Otwieraj stronę nieruchomości tylko wtedy, gdy ogłoszenie jest nowe lub zmieniła się jego cena.
4. Przechowuj historię u siebie, żeby nie pobierać ponownie tych samych stron.

Plan pozwala na maksymalnie 1000 jednoczesnych połączeń, ale w serwisach z nieruchomościami zacznij od kilku wątków i zwiększaj ich liczbę stopniowo. Ogólne zasady takiego zbierania danych opisują scenariusze parsowanie stron i monitoring cen.

Własne ogłoszenia oczami kupującego

Agencji przydaje się zobaczyć swoje ogłoszenia tak, jak widzi je klient z innego kraju. Powiedzmy, że sprzedajesz mieszkania w Warszawie, a kupujący szuka z Niemiec lub Kanady. Otwórz platformę przez proxy w tym kraju i sprawdź:

• na którym miejscu jest nieruchomość w wynikach dla swojej dzielnicy;
• w jakiej walucie i w jaki sposób wyświetla się cena;
• czy zdjęcia, rzut i opis wyświetlają się poprawnie;
• jakie podobne nieruchomości platforma pokazuje obok.

Do takiego sprawdzenia wygodny jest tryb „Stały IP” na porcie z zakresu 10000–20000: całe sprawdzenie idzie z jednego adresu. Port utrzymuje IP od 1 do 120 minut, domyślnie 30. Stały IP rezydencjalny może zmienić się wcześniej, jeśli urządzenie przejdzie w tryb offline – port dostaje wtedy nowy adres w tym samym kraju.

Jakie proxy wybrać

Do serwisów z nieruchomościami zwykle wybiera się proxy rezydencjalne za $1.59 za GB. To adresy domowych dostawców internetu, więc platforma wygląda dokładnie tak, jak dla zwykłego odwiedzającego. Duże serwisy często odpowiadają adresom serwerowym weryfikacją lub CAPTCHA.

Proxy serwerowe za $0.65 za GB warto wypróbować na mniejszych platformach i do sprawdzeń technicznych. Proxy mobilne za $2.50 za GB przydają się, gdy trzeba obejrzeć mobilną wersję serwisu z adresu operatora.

Co warto wiedzieć z góry

• Nie obiecujemy, że serwis zaakceptuje konkretny adres: o dostępie decyduje platforma.
• Jeśli serwis odpowiada CAPTCHA, zmniejsz częstotliwość żądań, zamiast szukać sposobu na jej obejście.
• Banki i systemy płatności są przez nasze proxy zablokowane. Listę znajdziesz na stronie zablokowane strony.

Ile transferu potrzebujesz

Strony z nieruchomościami są ciężkie: galerie zdjęć, mapy, czasem wideo i wirtualne spacery 3D. Do zbierania cen obrazy i mapy nie są potrzebne: wyłącz ich ładowanie, a zużycie wyraźnie spadnie. Transfer liczy się w obu kierunkach. Kalkulator transferu pomoże oszacować wolumen; kupione gigabajty nie wygasają, a ceny znajdziesz w cenniku.