Ограничение частоты запросов (rate limit)
Rate limit — порог запросов, после которого сайт временно перестаёт отвечать адресу или аккаунту.
Сайты защищаются от перегрузки: считают, сколько запросов пришло с одного адреса, аккаунта или ключа за единицу времени. Когда порог превышен, сайт отвечает ошибкой вместо страницы.
Обычно это код 429 Too Many Requests. Сайты за Cloudflare показывают ошибку 1015. Ограничение временное и снимается само, если снизить темп.
Порог у каждого сайта свой и нигде не опубликован. Рабочий темп находят опытным путём: начинают с малого и повышают, пока ответы остаются стабильными.
Распределить нагрузку помогает ротация адресов. Что делать при ошибке, описано на странице 429 Too Many Requests.
Вопросы и ответы
Как узнать лимит сайта?
Сайты его не публикуют. Начинайте с малого темпа и повышайте, пока ответы остаются стабильными. Если есть официальный API, лимиты указаны в его документации.
Помогает ли смена IP?
Если лимит считается по адресу — да. Если по аккаунту или ключу — нет, помогает только снижение темпа.
Связанные термины
Резидентские $1.59, мобильные $2.50, серверные $0.80 за 1 ГБ
Регистрация за минуту, доступы сразу после оплаты.