Прокси для сбора поисковой выдачи Google

Чем эта задача отличается от проверки позиций

Если вам нужно знать, на каком месте ваш сайт, — это сценарий SEO и позиции в поиске. А для позиций своего сайта в первую очередь пользуйтесь Google Search Console: там данные приходят от самого Google, без запросов к выдаче.

Эта страница — о другой задаче. Исследовательские компании и SEO-агентства собирают данные выдачи в масштабе: тысячи запросов по нескольким странам, городам и языкам. Их интересует вся страница: кто в топе по нише, какие сайты чаще появляются, где показываются реклама, товары и карты.

От чего зависит выдача

Google подстраивает результаты под посетителя. На выдачу влияют:

• страна — в США и Канаде по одному запросу разные сайты в топе;
• город — особенно для запросов вроде «стоматолог» или «доставка цветов»;
• язык — параметр hl задаёт язык интерфейса, gl — страну выдачи;
• устройство — мобильная и десктопная выдача отличаются составом блоков.

Параметры hl и gl помогают, но не заменяют местоположение. Локальные результаты Google берёт в том числе из IP посетителя. Поэтому для данных по Германии берите IP Германии, по Польше — IP Польши. Тип устройства определяется браузером и его заголовками, а не прокси: для мобильной выдачи используйте мобильный профиль браузера.

Что собирать со страницы выдачи

Обычная выдача давно не состоит из десяти ссылок. Для исследования обычно сохраняют:

• органические результаты и их порядок;
• локальный блок с картой и компаниями — он зависит от города сильнее всего;
• рекламные объявления сверху и снизу страницы;
• товарные блоки с ценами и магазинами;
• блоки с вопросами, видео и новостями.

Для локального блока включите расширенный режим генератора: там можно указать регион (для США — штат), любой город по названию, ZIP или оператора (ASN). Трафик с точным гео считается вдвое, поэтому включайте его только для запросов с местным интентом. Для общих запросов по стране хватает выбора страны.

Сохраняйте вместе с результатами условия сбора: запрос, страну, город, язык, тип устройства, дату и время. Без этого выдачу из Торонто и Ванкувера, собранную в разные дни, потом невозможно честно сравнить. Повторяйте сбор по одному и тому же списку запросов, чтобы видеть изменения, а не случайный шум.

Ротация на каждый запрос

Для массового сбора подходит режим «Новый IP на каждый запрос»: порт 823 (HTTP) или 824 (SOCKS5) даёт новый адрес на каждый запрос. Ваш скрипт работает через один адрес подключения, а смена IP происходит на нашей стороне. Пример кода — в инструкции для Python requests.

На план доступно до 1000 одновременных соединений. Это предел, а не рекомендация: начинайте с нескольких потоков и смотрите, как меняется доля ответов с проверкой.

Почему Google показывает проверку

Google следит за тем, насколько поток запросов похож на поведение человека. Когда запросов слишком много и они идут слишком часто, Google показывает страницу о необычном трафике и капчу. Что означает эта страница и что с ней делать — в разборе ошибки Google «необычный трафик».

Мы не обещаем, что капчи не будет, и не даём советов, как её обходить. Работают спокойные меры:

1. Снизьте темп. Делайте паузы между запросами и ограничьте число потоков.
2. Распределите сбор. Разнесите запросы по времени суток, а не отправляйте всё за час.
3. Кэшируйте. Выдача по большинству запросов не меняется за минуты — не запрашивайте её повторно.
4. Собирайте только нужное. Одна страница выдачи вместо пяти часто даёт достаточно данных.

Подробнее о спокойной работе с лимитами — на странице ошибки 429.

Какие прокси выбрать

Для выдачи Google обычно берут резидентские прокси — $1.59 за ГБ. Это адреса домашних провайдеров, и Google видит их как обычных пользователей. Включите фильтр анонимности в настройках пула: он отсекает IP, которые сайты уже пометили как прокси или VPN.

Серверные прокси — $0.80 за ГБ — на поиске Google чаще получают проверку, но годятся для небольших объёмов. Мобильные — $2.50 за ГБ — пригодятся, если вы изучаете мобильную выдачу и хотите адрес оператора 4G/5G.

Что важно знать заранее

• Условия использования Google прокси не отменяет: темп и объём сбора — ваша ответственность.
• Пул общий: адресом раньше мог пользоваться другой клиент, поэтому отдельные IP могут сразу получать проверку.
• Мы не обещаем, что Google примет конкретный адрес: решение принимает он сам.

Сколько трафика нужно

Страница выдачи без картинок весит немного, но тысячи запросов в день складываются в заметный объём. Отключите загрузку изображений и скриптов, если вам нужен только HTML. Трафик считается в обе стороны. Прикинуть объём поможет калькулятор трафика; купленные гигабайты не сгорают — цены на странице тарифы.