robots.txt

Файл лежить за адресою /robots.txt, наприклад example.com/robots.txt. У ньому правила для роботів: які розділи закриті, з якою паузою ходити, де карта сайту.

robots.txt — це прохання, а не замок. Але сумлінні краулери й пошукові системи його дотримуються, і власники сайтів розраховують на це.

Перед збором даних варто прочитати і robots.txt, і правила сайту. Дотримання вказаного темпу зберігає сайт від перевантаження, а вас — від лімітів запитів.

Як організувати збір відкритих даних через проксі, розповідаємо на сторінці проксі для парсингу.

Директиви та як вони працюють

З 2022 року формат описує RFC 9309. У шляхах діють два спецсимволи: * означає будь-яку послідовність символів, а $ — кінець адреси. Коли Allow і Disallow суперечать одне одному, перемагає правило з довшим шляхом, тому Allow: /shop/public/ працює всередині Disallow: /shop/.

Яка група правил діє для вашого робота

Робот шукає групу зі своєю назвою в User-agent, порівнюючи назви без урахування регістру. Якщо така група є, діє лише вона, а правила для * ігноруються. Якщо немає, робот виконує групу *.

Приклад: файл з User-agent: * і Disallow: /search, а далі User-agent: MyCrawler і Disallow: / закриває для MyCrawler увесь сайт, а решті дозволяє все, крім пошуку. Саме тому краулеру варто мати власну назву й перевіряти, чи немає для неї окремої групи.

Чого robots.txt не охоплює

Файл діє для одного хоста й протоколу: у shop.example.com свій robots.txt, окремий від example.com. Якщо файл повертає 404, роботи зазвичай вважають дозволеним усе. Якщо він повертає помилки 5xx, RFC радить тимчасово вважати сайт повністю закритим, а збережену копію файлу не використовувати довше 24 годин.

robots.txt також не замінює умов користування сайтом: розділ може бути відкритим для роботів, але закритим правилами. Використання проксі Prokso регулюють правила користування.