Проксі для збирання пошукової видачі Google

Чим це завдання відрізняється від перевірки позицій

Якщо вам треба знати, на якому місці ваш сайт, — це сценарій SEO і позиції в пошуку. А для позицій свого сайту насамперед користуйтеся Google Search Console: там дані надходять від самого Google, без запитів до видачі.

Ця сторінка — про інше завдання. Дослідницькі компанії та SEO-агентства збирають дані видачі в масштабі: тисячі запитів у кількох країнах, містах і мовах. Їх цікавить уся сторінка: хто в топі в ніші, які сайти з'являються найчастіше, де показуються реклама, товари й карти.

Від чого залежить видача

Google підлаштовує результати під відвідувача. На видачу впливають:

• країна — у США та Канаді за тим самим запитом у топі різні сайти;
• місто — особливо для запитів на кшталт «стоматолог» або «доставка квітів»;
• мова — параметр hl задає мову інтерфейсу, gl — країну видачі;
• пристрій — мобільна й десктопна видача відрізняються складом блоків.

Параметри hl і gl допомагають, але не замінюють місцезнаходження. Локальні результати Google бере, зокрема, з IP відвідувача. Тому для даних по Німеччині беріть IP Німеччини, по Польщі — IP Польщі. Тип пристрою визначає браузер і його заголовки, а не проксі: для мобільної видачі використовуйте мобільний профіль браузера.

Що збирати зі сторінки видачі

Звичайна видача давно не складається з десяти посилань. Для дослідження зазвичай зберігають:

• органічні результати та їх порядок;
• локальний блок із картою та компаніями — він залежить від міста найсильніше;
• рекламні оголошення вгорі й унизу сторінки;
• товарні блоки з цінами й магазинами;
• блоки з питаннями, відео та новинами.

Для локального блоку увімкніть розширений режим генератора: там можна вказати регіон (для США — штат), будь-яке місто за назвою, ZIP або оператора (ASN). Трафік із точним гео рахується вдвічі, тому вмикайте його лише для запитів із місцевим інтентом. Для загальних запитів по країні достатньо вибору країни.

Зберігайте разом із результатами умови збирання: запит, країну, місто, мову, тип пристрою, дату й час. Без цього видачу з Торонто та Ванкувера, зібрану в різні дні, потім неможливо чесно порівняти. Повторюйте збирання за тим самим списком запитів, щоб бачити зміни, а не випадковий шум.

Ротація на кожен запит

Для масового збирання підходить режим «Новий IP на кожен запит»: порт 823 (HTTP) або 824 (SOCKS5) дає нову адресу на кожен запит. Ваш скрипт працює через одну адресу підключення, а зміна IP відбувається на нашому боці. Приклад коду — в інструкції для Python requests.

На план доступно до 1000 одночасних з'єднань. Це межа, а не рекомендація: починайте з кількох потоків і дивіться, як змінюється частка відповідей із перевіркою.

Чому Google показує перевірку

Google стежить за тим, наскільки потік запитів схожий на поведінку людини. Коли запитів забагато і вони йдуть надто часто, Google показує сторінку про незвичний трафік і капчу. Що означає ця сторінка і що з нею робити — у розборі помилки Google «незвичний трафік».

Ми не обіцяємо, що капчі не буде, і не даємо порад, як її обходити. Працюють спокійні заходи:

1. Знизьте темп. Робіть паузи між запитами й обмежте кількість потоків.
2. Розподіліть збирання. Рознесіть запити за часом доби, а не надсилайте все за годину.
3. Кешуйте. Видача за більшістю запитів не змінюється за хвилини — не запитуйте її повторно.
4. Збирайте лише потрібне. Одна сторінка видачі замість п'яти часто дає достатньо даних.

Докладніше про спокійну роботу з лімітами — на сторінці помилки 429.

Які проксі вибрати

Для видачі Google зазвичай беруть резидентські проксі — $1.59 за ГБ. Це адреси домашніх провайдерів, і Google бачить їх як звичайних користувачів. Увімкніть фільтр анонімності в налаштуваннях пулу: він відсікає IP, які сайти вже позначили як проксі або VPN.

Серверні проксі — $0.80 за ГБ — у пошуку Google частіше отримують перевірку, але годяться для невеликих обсягів. Мобільні — $2.50 за ГБ — стануть у пригоді, якщо ви вивчаєте мобільну видачу й хочете адресу оператора 4G/5G.

Що важливо знати заздалегідь

• Умов використання Google проксі не скасовує: темп і обсяг збирання — ваша відповідальність.
• Пул спільний: адресою раніше міг користуватися інший клієнт, тому окремі IP можуть одразу отримувати перевірку.
• Ми не обіцяємо, що Google прийме конкретну адресу: рішення ухвалює він сам.

Скільки трафіку потрібно

Сторінка видачі без картинок важить небагато, але тисячі запитів на день складаються в помітний обсяг. Вимкніть завантаження зображень і скриптів, якщо вам потрібен лише HTML. Трафік рахується в обидва боки. Прикинути обсяг допоможе калькулятор трафіку; куплені гігабайти не згоряють — ціни на сторінці тарифи.