Ошибка 429 Too Many Requests

Что означает ошибка

Код 429 отправляет сайт, а не прокси. Это ограничение частоты: сервер считает запросы с одного адреса, аккаунта или ключа и после порога начинает отказывать.

Часто в ответе есть заголовок Retry-After — через сколько секунд можно повторить. Ограничение обычно временное и снимается само, если нагрузку снизить.

Причины

• Слишком много запросов с одного адреса. Фиксированный IP или долгая сессия быстро упираются в лимит сайта.
• Лимит привязан к аккаунту или ключу. Тогда смена адреса не поможет: счётчик идёт по учётной записи.
• Запросы идут без пауз. Ровный поток с одинаковыми интервалами выглядит как автомат.
• Параллельные потоки бьют в одну страницу. Десятки одновременных соединений к одному адресу сайта срабатывают быстрее всего.

Как исправить

1. Снизьте частоту: добавьте паузы между запросами и сделайте их неодинаковыми.
2. Учитывайте Retry-After: повторяйте запрос не раньше указанного времени.
3. Включите ротацию: порт 823 (HTTP) или 824 (SOCKS5) даёт новый адрес на каждый запрос. Подробнее — на странице ротационные прокси.
4. Уменьшите число параллельных потоков к одному сайту.
5. Если лимит по аккаунту — распределите работу по времени: смена адреса такой лимит не снимает.
6. Сохраняйте уже полученные данные, чтобы не запрашивать одно и то же повторно.

Как проверить, что всё заработало

Отправьте один запрос через несколько минут паузы. Если он проходит, а при прежнем темпе 429 возвращается — вы нашли порог сайта; держите темп ниже него.