Прокси для сайтов недвижимости

Кому и зачем это нужно

Агентства следят за тем, как выставлены их объекты и объекты конкурентов. Инвесторы сравнивают цены и арендные ставки в разных городах, прежде чем покупать. Аналитики собирают открытые данные объявлений, чтобы считать средние цены, сроки экспозиции и изменения спроса.

Для всех этих задач нужен взгляд изнутри рынка. Крупные площадки работают на свою страну: Zillow и Realtor.com — на США, Rightmove и Zoopla — на Великобританию, Immowelt и ImmoScout24 — на Германию, Otodom — на Польшу, DOM.RIA — на Украину. Часть из них ограничивает или меняет показ для посетителей из других стран.

Сначала о правилах и данных

Собирайте только открытые данные объявлений: цену, площадь, район, число комнат, дату публикации. Имена, телефоны и адреса почты частных продавцов — это персональные данные. Их сбор и хранение регулирует закон, например GDPR в Евросоюзе и Великобритании, и решать этот вопрос нужно с юристом, а не с помощью прокси.

Многие площадки предлагают официальные фиды, API или партнёрские программы для агентств и аналитических компаний. Если такой вариант есть, начинайте с него: данные приходят в готовом виде, а условия использования понятны заранее. Прокси нужен там, где официального канала нет или нужно проверить, что видит посетитель.

Прочитайте правила сайта и соблюдайте темп: не нагружайте площадку больше, чем это делал бы внимательный аналитик со скриптом. Правила площадки прокси не отменяет.

Объявления и цены по городу и ZIP

На сайтах недвижимости выдача сильно зависит от места. Квартира в Бостоне и в Остине, дом под Манчестером и в Лондоне, аренда в Мюнхене и в Лейпциге — это разные рынки. Многие площадки ещё и подставляют регион по IP посетителя, если он не указан в поиске.

Для общей картины по стране выберите страну в генераторе. Если нужен конкретный рынок, включите расширенный режим: там можно указать регион (для США — штат), любой город по названию или ZIP. Учтите: трафик с точным гео — регион, город, ZIP или оператор (ASN) — считается вдвое. Включайте его там, где адрес действительно меняет результат.

Проверяйте в чистом профиле браузера без входа. Площадки запоминают последний город поиска и сохранённые фильтры, и они перекроют местоположение вашего IP.

Регулярный мониторинг объявлений

Типичная задача — раз в день обходить новые объявления по нескольким городам и отмечать изменения цен. Для этого подходит режим «Новый IP на каждый запрос»: порт 823 (HTTP) или 824 (SOCKS5) даёт новый адрес на каждый запрос, и нагрузка расходится между разными IP.

1. Соберите список поисковых страниц по нужным городам и фильтрам.
2. Обходите их с паузами и сохраняйте только поля, которые вам нужны.
3. Открывайте карточку объекта, только если она новая или в ней изменилась цена.
4. Храните историю у себя, чтобы не запрашивать одни и те же страницы повторно.

На план доступно до 1000 одновременных соединений, но для сайтов недвижимости начинайте с нескольких потоков и наращивайте постепенно. Общие принципы такого сбора — в сценариях парсинг сайтов и мониторинг цен.

Свои объекты глазами покупателя

Агентству полезно видеть свои объявления так, как их видит клиент в другой стране. Например, вы продаёте апартаменты в Варшаве, а покупатель ищет их из Германии или Канады. Через прокси нужной страны откройте площадку и проверьте:

• на каком месте объект в выдаче по своему району;
• в какой валюте и как показана цена;
• правильно ли отображаются фото, план и описание;
• какие похожие объекты площадка показывает рядом.

Для такой проверки удобен режим «Фиксированный IP (sticky-сессия)» на порту из диапазона 10000–20000: вся проверка идёт с одного адреса. Порт держит IP от 1 до 120 минут, по умолчанию 30. Фиксированный резидентный IP может смениться раньше срока, если устройство ушло из сети, — порт получит новый адрес той же страны.

Какие прокси выбрать

Для сайтов недвижимости обычно берут резидентские прокси — $1.59 за ГБ. Это адреса домашних провайдеров, и с них площадка выглядит так же, как у обычного посетителя. Крупные сайты часто отвечают проверкой или капчей на адреса дата-центров.

Серверные прокси — $0.80 за ГБ — можно попробовать для небольших площадок и технических проверок. Мобильные — $2.50 за ГБ — пригодятся, если нужно посмотреть мобильную версию сайта с адреса оператора.

Что важно знать заранее

• Мы не обещаем, что сайт примет конкретный адрес: решение о доступе принимает площадка.
• Если сайт отвечает капчей, снизьте частоту запросов, а не ищите способ её обойти.
• Банки и платёжные системы через прокси закрыты. Перечень — на странице запрещённые сайты.

Сколько трафика нужно

Страницы недвижимости тяжёлые: галереи фото, карты, иногда видео и 3D-туры. Для сбора цен картинки и карты не нужны: отключите их загрузку, и расход заметно сократится. Трафик считается в обе стороны. Прикинуть объём поможет калькулятор трафика; купленные гигабайты не сгорают — цены на странице тарифы.