robots.txt

Файл лежит по адресу /robots.txt, например example.com/robots.txt. В нём правила для роботов: какие разделы закрыты, с какой паузой ходить, где карта сайта.

robots.txt — это просьба, а не замок. Но добросовестные краулеры и поисковые системы его соблюдают, и владельцы сайтов на это рассчитывают.

Перед сбором данных стоит прочитать и robots.txt, и правила сайта. Соблюдение указанного темпа бережёт сайт от перегрузки, а вас — от лимитов запросов.

Как организовать сбор открытых данных через прокси, рассказываем на странице прокси для парсинга.

Директивы и как они работают

С 2022 года формат описывает RFC 9309. В путях действуют два спецсимвола: * означает любую последовательность символов, а $ — конец адреса. Когда Allow и Disallow противоречат друг другу, побеждает правило с более длинным путем, поэтому Allow: /shop/public/ работает внутри Disallow: /shop/.

Какая группа правил действует для вашего робота

Робот ищет группу со своим названием в User-agent, сравнивая названия без учета регистра. Если такая группа есть, действует только она, а правила для * игнорируются. Если нет, робот выполняет группу *.

Пример: файл с User-agent: * и Disallow: /search, а дальше User-agent: MyCrawler и Disallow: / закрывает для MyCrawler весь сайт, а остальным разрешает все, кроме поиска. Именно поэтому краулеру стоит иметь собственное название и проверять, нет ли для него отдельной группы.

Чего robots.txt не охватывает

Файл действует для одного хоста и протокола: у shop.example.com свой robots.txt, отдельный от example.com. Если файл возвращает 404, роботы обычно считают разрешенным все. Если он возвращает ошибки 5xx, RFC советует временно считать сайт полностью закрытым, а сохраненную копию файла не использовать дольше 24 часов.

robots.txt также не заменяет условия пользования сайтом: раздел может быть открыт для роботов, но закрыт правилами. Использование прокси Prokso регулируют правила пользования.