Настройка прокси в Screaming Frog SEO Spider

Пошаговая инструкция, как подключить прокси Prokso в Screaming Frog SEO Spider. Займёт несколько минут.

Шаг 1. Возьмите данные прокси в кабинете

Откройте план и скопируйте хост gw.prokso.com, порт, логин и пароль. Порт 823 — HTTP, 824 — SOCKS5 (оба дают новый IP на каждый запрос); порты 10000–20000 — фиксированный IP до 120 минут, работают и как HTTP, и как SOCKS5 (каждый порт — отдельный адрес). Страну задают в логине: логин__cr.ua.

Шаг 2. Откройте настройки прокси

В Windows и Linux это File → Settings → Proxy, на macOS — Screaming Frog SEO Spider → Settings → Proxy. В старых версиях программы пункт был в Configuration → System → Proxy.

Шаг 3. Укажите сервер и порт

Отметьте «Use Proxy Server», в поле адреса введите gw.prokso.com, порт — 823, если каждый запрос должен идти с нового IP, или фиксированный порт 10000–20000, если нужен один IP на весь обход. Нажмите «OK» — программа попросит перезапуск, без него прокси не заработает.

Шаг 4. Введите логин и пароль

В том же окне отметьте «Use Proxy Credentials», впишите логин и пароль со страницы плана и нажмите «OK and Restart». В старых версиях программа запрашивала их после перезапуска, когда начиналось сканирование. Если не хотите вводить их каждый раз, добавьте IP своего компьютера на странице плана в блок «Доступ по IP без пароля» — тогда логин не понадобится.

Шаг 5. Снизьте скорость

В Configuration → Speed поставьте 2–4 потока и при необходимости ограничьте количество URL в секунду. Так меньше ошибок таймаута и отказов со стороны сайта.

Шаг 6. Проверьте тестовым обходом

Переключите Mode → List, вставьте адрес https://api.ipify.org и запустите обход. Статус 200 значит, что прокси пропускает запросы. Чтобы увидеть сам IP, перед обходом включите Configuration → Spider → Extraction → Store HTML и откройте внизу вкладку «View Source» — там будет IP прокси.

Когда прокси в Screaming Frog действительно нужен

Для обычного аудита своего сайта прокси не требуется. Он нужен в трёх случаях: посмотреть, как сайт отдаёт страницы посетителям из другой страны; проверить, не показывает ли сервер разное содержимое по географии; обойти сайт, который ограничивает число запросов с одного адреса.

Для первых двух задач берите фиксированный порт и нужную страну в логине — весь обход пройдёт с одного IP. Для третьей подойдёт порт 823, но скорость всё равно стоит держать умеренной.

Расход трафика на обходе

По умолчанию Screaming Frog загружает не только HTML, но и картинки, стили и скрипты. Для проверки ссылок и метаданных это лишнее: отключите их в Configuration → Spider. Режим рендеринга JavaScript увеличивает объём в разы — включайте его только там, где без него не обойтись.

Прикинуть объём до запуска поможет калькулятор трафика: умножьте число страниц на средний вес HTML.

Если обход идёт с ошибками

• Много ответов 429. Сайт ограничивает частоту: уменьшите число потоков и задайте предел URL в секунду.
• Тайм-ауты. Увеличьте время ожидания ответа в настройках: через резидентские адреса страницы идут дольше.
• Ответы 407. Программа не передала логин и пароль. Введите их заново или включите доступ по IP.
• Часть страниц идёт мимо прокси. Проверьте список исключений в настройках прокси.