Czy w pliku robots.txt można stosować wykluczanie?

Plik robots.txt pozwala oczywiście na blokowanie katalogów przy jednoczesnym odblokowaniu poszczególnych elemnetów nim zawartych (dokumentów i podkatalogów).

Przykład:

User-agent:*

Disallow: /test/
Allow: /test/odlokowana-podstrona-1.html
Allow: /test/odlokowana-podstrona-2.html
Allow: /test/odblokowany-katalog/


Możliwa jest ma się rozumieć również sytuacja odwrotna, a więc blokowanie pojedynczych dokumentów i katalogów wewnątrz dostępnego dla robota katalogu.

Przykład:

User-agent:*

Disallow: /test/odlokowana-podstrona-1.html
Disallow: /test/odlokowana-podstrona-2.html

Disallow: /test/odblokowany-katalog/


Możliwe jest dowolne przeplatanie i zagnieżdzanie instrukcji blokowania fragmentów strony. Warto pamiętać, że w robots.txt możliwe jest stosowanie gwiazdki *. Jej oznacza mniej więcej tyle co "dowolny ciąg znaków".

Przypadek nietypowy.

Przykład:

Allow: /test/
Allow: /test/odlokowana-podstrona-1.html
Allow: /test/odlokowana-podstrona-2.html
Allow: /test/odlokowana-podstrona-3.html
Disallow: /test/*

UWAGA! Powyższy przykład przez niektóre walidatory plików robots.txt jest interpretowany w następujący sposób: Zablokuj wszystkie dokumenty i podkatalogu w katalogu /test/ z wyjątkiem 3 wymienionych plików i adresu katalogu głównego. Jest to interpretacja błędna!

W rzeczywistości powyższy ciąg linii powoduje odblokowanie tylko trzez dokumentów html, natomiast linia Disallow: /test/* nadpisuje (blokuje) wszystkie pozostałe dokumenty oraz adres samego katalogu /test/. Gwiazdka oznacza zatem nie tylko dowolny znak, ale również brak znaku.