Проксі для сайтів нерухомості

Кому і навіщо це потрібно

Агентства стежать за тим, як виставлені їхні об'єкти та об'єкти конкурентів. Інвестори порівнюють ціни й орендні ставки в різних містах, перш ніж купувати. Аналітики збирають відкриті дані оголошень, щоб рахувати середні ціни, строки експозиції та зміни попиту.

Для всіх цих завдань потрібен погляд зсередини ринку. Великі майданчики працюють на свою країну: Zillow і Realtor.com — на США, Rightmove і Zoopla — на Велику Британію, Immowelt і ImmoScout24 — на Німеччину, Otodom — на Польщу, DOM.RIA — на Україну. Частина з них обмежує або змінює показ для відвідувачів з інших країн.

Спершу про правила й дані

Збирайте лише відкриті дані оголошень: ціну, площу, район, кількість кімнат, дату публікації. Імена, телефони й адреси пошти приватних продавців — це персональні дані. Їх збирання та зберігання регулює закон, наприклад GDPR у Євросоюзі та Великій Британії, і вирішувати це питання треба з юристом, а не за допомогою проксі.

Багато майданчиків пропонують офіційні фіди, API або партнерські програми для агентств і аналітичних компаній. Якщо такий варіант є, починайте з нього: дані надходять у готовому вигляді, а умови використання зрозумілі заздалегідь. Проксі потрібен там, де офіційного каналу немає або треба перевірити, що бачить відвідувач.

Прочитайте правила сайту й тримайте темп: не навантажуйте майданчик більше, ніж це робив би уважний аналітик зі скриптом. Правил майданчика проксі не скасовує.

Оголошення й ціни за містом і ZIP

На сайтах нерухомості видача сильно залежить від місця. Квартира в Бостоні та в Остіні, будинок під Манчестером і в Лондоні, оренда в Мюнхені та в Лейпцигу — це різні ринки. Багато майданчиків ще й підставляють регіон за IP відвідувача, якщо його не вказано в пошуку.

Для загальної картини по країні виберіть країну в генераторі. Якщо потрібен конкретний ринок, увімкніть розширений режим: там можна вказати регіон (для США — штат), будь-яке місто за назвою або ZIP. Зважайте: трафік із точним гео — регіон, місто, ZIP або оператор (ASN) — рахується вдвічі. Вмикайте його там, де адреса справді змінює результат.

Перевіряйте в чистому профілі браузера без входу. Майданчики запам'ятовують останнє місто пошуку й збережені фільтри, і вони перекриють місцезнаходження вашого IP.

Регулярний моніторинг оголошень

Типове завдання — раз на день обходити нові оголошення в кількох містах і позначати зміни цін. Для цього підходить режим «Новий IP на кожен запит»: порт 823 (HTTP) або 824 (SOCKS5) дає нову адресу на кожен запит, і навантаження розходиться між різними IP.

1. Зберіть список пошукових сторінок для потрібних міст і фільтрів.
2. Обходьте їх з паузами й зберігайте лише ті поля, які вам потрібні.
3. Відкривайте картку об'єкта, лише якщо вона нова або в ній змінилася ціна.
4. Зберігайте історію в себе, щоб не запитувати ті самі сторінки повторно.

На план доступно до 1000 одночасних з'єднань, але для сайтів нерухомості починайте з кількох потоків і збільшуйте поступово. Загальні принципи такого збирання — у сценаріях парсинг сайтів і моніторинг цін.

Свої об'єкти очима покупця

Агентству корисно бачити свої оголошення так, як їх бачить клієнт в іншій країні. Наприклад, ви продаєте апартаменти у Варшаві, а покупець шукає їх із Німеччини чи Канади. Через проксі потрібної країни відкрийте майданчик і перевірте:

• на якому місці об'єкт у видачі за своїм районом;
• у якій валюті і як показана ціна;
• чи правильно відображаються фото, план та опис;
• які схожі об'єкти майданчик показує поруч.

Для такої перевірки зручний режим «Фіксований IP (sticky-сесія)» на порту з діапазону 10000–20000: уся перевірка йде з однієї адреси. Порт тримає IP від 1 до 120 хвилин, за замовчуванням 30. Фіксований резидентський IP може змінитися раніше строку, якщо пристрій вийшов з мережі, — порт отримає нову адресу тієї ж країни.

Які проксі вибрати

Для сайтів нерухомості зазвичай беруть резидентські проксі — $1.59 за ГБ. Це адреси домашніх провайдерів, і з них майданчик виглядає так само, як у звичайного відвідувача. Великі сайти часто відповідають перевіркою або капчею на адреси дата-центрів.

Серверні проксі — $0.80 за ГБ — можна спробувати для невеликих майданчиків і технічних перевірок. Мобільні — $2.50 за ГБ — стануть у пригоді, якщо треба подивитися мобільну версію сайту з адреси оператора.

Що важливо знати заздалегідь

• Ми не обіцяємо, що сайт прийме конкретну адресу: рішення про доступ ухвалює майданчик.
• Якщо сайт відповідає капчею, знизьте частоту запитів, а не шукайте способу її обійти.
• Банки й платіжні системи через проксі закриті. Перелік — на сторінці заборонені сайти.

Скільки трафіку потрібно

Сторінки нерухомості важкі: галереї фото, карти, іноді відео та 3D-тури. Для збирання цін картинки й карти не потрібні: вимкніть їх завантаження, і витрата помітно зменшиться. Трафік рахується в обидва боки. Прикинути обсяг допоможе калькулятор трафіку; куплені гігабайти не згоряють — ціни на сторінці тарифи.