Налаштування проксі в Screaming Frog SEO Spider

Покрокова інструкція, як підключити проксі Prokso в Screaming Frog SEO Spider. Займе кілька хвилин.

Крок 1. Візьміть дані проксі в особистому кабінеті

Відкрийте план і скопіюйте хост gw.prokso.com, порт, логін і пароль. Порт 823 — HTTP, 824 — SOCKS5 (обидва дають новий IP на кожен запит); порти 10000–20000 — фіксований IP (sticky-сесія) до 120 хвилин, працюють і як HTTP, і як SOCKS5 (кожен порт — окрема адреса). Країну задають у логіні: логін__cr.ua.

Крок 2. Відкрийте налаштування проксі

У Windows і Linux це File → Settings → Proxy, на macOS — Screaming Frog SEO Spider → Settings → Proxy. У старих версіях програми пункт був у Configuration → System → Proxy.

Крок 3. Вкажіть сервер і порт

Поставте галочку «Use Proxy Server», у полі адреси введіть gw.prokso.com, порт — 823, якщо кожен запит має йти з нового IP, або фіксований порт 10000–20000, якщо потрібен один IP на весь обхід. Натисніть «OK» — програма попросить перезапуск, без нього проксі не запрацює.

Крок 4. Введіть логін і пароль

У тому ж вікні поставте галочку «Use Proxy Credentials», впишіть логін і пароль зі сторінки плану й натисніть «OK and Restart». У старих версіях програма запитувала їх після перезапуску, коли починалося сканування. Якщо не хочете вводити їх щоразу, додайте IP свого комп'ютера на сторінці плану в блок «Доступ за IP без пароля» (білий список) — тоді логін не знадобиться.

Крок 5. Знизьте швидкість

У Configuration → Speed поставте 2–4 потоки замість стандартних 5 і за потреби обмежте кількість URL за секунду. Так менше помилок таймауту й відмов від сайту.

Крок 6. Перевірте тестовим обходом

Перемкніть Mode → List, вставте адресу https://api.ipify.org і запустіть обхід. Статус 200 означає, що проксі пропускає запити. Щоб побачити сам IP, перед обходом увімкніть Configuration → Spider → Extraction → Store HTML і відкрийте внизу вкладку «View Source» — там буде IP проксі.

Коли проксі у Screaming Frog справді потрібен

Для звичайного аудиту власного сайту проксі не потрібен. Він потрібен у трьох випадках: подивитися, як сайт віддає сторінки відвідувачам з іншої країни; перевірити, чи не показує сервер різний вміст залежно від географії; обійти сайт, який обмежує кількість запитів з однієї адреси.

Для перших двох завдань беріть фіксований порт і потрібну країну в логіні — весь обхід пройде з одного IP. Для третього підійде порт 823, але швидкість однаково варто тримати помірною.

Витрата трафіку на обході

За замовчуванням Screaming Frog завантажує не лише HTML, а й картинки, стилі та скрипти. Для перевірки посилань і метаданих це зайве: вимкніть їх у Configuration → Spider. Режим рендерингу JavaScript збільшує обсяг у рази — вмикайте його лише там, де без нього не обійтися.

Прикинути обсяг до запуску допоможе калькулятор трафіку: помножте кількість сторінок на середню вагу HTML.

Якщо обхід іде з помилками

• Багато відповідей 429. Сайт обмежує частоту: зменште кількість потоків і задайте ліміт URL на секунду.
• Тайм-аути. Збільште час очікування відповіді в налаштуваннях: через резидентські адреси сторінки йдуть довше.
• Відповіді 407. Програма не передала логін і пароль. Введіть їх заново або ввімкніть доступ за IP.
• Частина сторінок іде повз проксі. Перевірте список винятків у налаштуваннях проксі.