Помилка 429 Too Many Requests

Що означає помилка

Код 429 надсилає сайт, а не проксі. Це обмеження частоти: сервер рахує запити з однієї адреси, акаунта чи ключа і після порогу починає відмовляти.

Часто у відповіді є заголовок Retry-After — через скільки секунд можна повторити. Обмеження зазвичай тимчасове й знімається само, якщо знизити навантаження.

Причини

• Забагато запитів з однієї адреси. Фіксований IP або довга сесія швидко впираються в ліміт сайту.
• Ліміт прив'язаний до акаунта або ключа. Тоді зміна адреси не допоможе: лічильник іде за обліковим записом.
• Запити йдуть без пауз. Рівний потік з однаковими інтервалами виглядає як автомат.
• Паралельні потоки б'ють в одну сторінку. Десятки одночасних з'єднань до однієї адреси сайту спрацьовують найшвидше.

Як виправити

1. Знизьте частоту: додайте паузи між запитами й зробіть їх неоднаковими.
2. Зважайте на Retry-After: повторюйте запит не раніше вказаного часу.
3. Увімкніть ротацію: порт 823 (HTTP) або 824 (SOCKS5) дає нову адресу на кожен запит. Докладніше — на сторінці ротаційні проксі.
4. Зменште кількість паралельних потоків до одного сайту.
5. Якщо ліміт за акаунтом — розподіліть роботу в часі: зміна адреси такий ліміт не знімає.
6. Зберігайте вже отримані дані, щоб не запитувати те саме повторно.

Як перевірити, що все запрацювало

Надішліть один запит після кількох хвилин паузи. Якщо він проходить, а за попереднього темпу 429 повертається — ви знайшли поріг сайту; тримайте темп нижче за нього.