robots.txt

Plik leży pod adresem /robots.txt, na przykład example.com/robots.txt. Zawiera zasady dla robotów: które sekcje są zamknięte, z jaką przerwą chodzić, gdzie jest mapa strony.

robots.txt to prośba, a nie zamek. Ale rzetelne crawlery i wyszukiwarki go przestrzegają, a właściciele stron na to liczą.

Przed zbieraniem danych warto przeczytać zarówno robots.txt, jak i regulamin strony. Trzymanie się podanego tempa chroni stronę przed przeciążeniem, a Ciebie – przed limitami żądań.

Jak zorganizować zbieranie otwartych danych przez proxy, opowiadamy na stronie proxy do zbierania danych ze stron.

Dyrektywy i jak działają

Od 2022 roku format opisuje RFC 9309. W ścieżkach działają dwa znaki specjalne: * oznacza dowolny ciąg znaków, a $ koniec adresu. Gdy Allow i Disallow są ze sobą sprzeczne, wygrywa reguła z dłuższą ścieżką, dlatego Allow: /shop/public/ działa wewnątrz Disallow: /shop/.

Która grupa reguł dotyczy Twojego robota

Robot szuka grupy ze swoją nazwą w User-agent, porównując nazwy bez względu na wielkość liter. Jeśli taka grupa istnieje, obowiązuje tylko ona, a reguły dla * są ignorowane. Jeśli jej nie ma, robot stosuje grupę *.

Przykład: plik z User-agent: * i Disallow: /search, a dalej User-agent: MyCrawler i Disallow: /, zamyka dla MyCrawler całą stronę, a pozostałym pozwala na wszystko oprócz wyszukiwania. Dlatego crawler powinien mieć własną nazwę i sprawdzać, czy nie ma dla niego osobnej grupy.

Czego robots.txt nie obejmuje

Plik działa dla jednego hosta i protokołu: shop.example.com ma własny robots.txt, oddzielny od example.com. Jeśli plik zwraca 404, roboty zwykle uznają wszystko za dozwolone. Jeśli zwraca błędy 5xx, RFC zaleca tymczasowo traktować stronę jako całkowicie zamkniętą, a zapisanej kopii pliku nie używać dłużej niż 24 godziny.

robots.txt nie zastępuje też regulaminu strony: sekcja może być otwarta dla robotów, ale zamknięta przez zasady. Korzystanie z proxy Prokso regulują zasady dopuszczalnego użytkowania.