User-Agent
User-Agent — строка в запросе, которой браузер или программа сообщает сайту, кто она такая.
В каждом запросе есть заголовок User-Agent: название и версия браузера, операционная система, тип устройства. По нему сайт решает, какую версию страницы показать.
У программ и библиотек для кода User-Agent свой, и он сразу выдаёт автоматический запрос. Многие сайты отвечают на него отказом — кодом 403.
User-Agent — только одна из черт, по которым сайт узнаёт посетителя. Вместе с остальными они складываются в отпечаток браузера.
Прокси меняет IP-адрес, но не User-Agent: его задаёт ваша программа. Важно, чтобы они не противоречили друг другу — например, мобильный адрес и заголовок настольного браузера.
Вопросы и ответы
Нужно ли менять User-Agent в скрипте?
Стандартный заголовок библиотеки сразу выдаёт автоматический запрос. Обычно его заменяют на заголовок актуального браузера.
Меняет ли прокси User-Agent?
Нет. Прокси меняет только IP-адрес; заголовки отправляет ваша программа.
Связанные термины
Резидентские $1.59, мобильные $2.50, серверные $0.80 за 1 ГБ
Регистрация за минуту, доступы сразу после оплаты.