Fisier text care este plasat in folderul radacina (root) al unui website si care ofera informatii despre continut. Poate avea scopul de a indica motoarelor de cautare faptul ca anumite pagini nu trebuie indexate. Totusi, indicatiile din acest fisier text nu sunt urmate de toate motoarele de cautare, astfel incat acestea pot indexa si, prin urmare, pot afisa chiar si linkuri catre pagini care nu ar fi trebuit indexate si afisate. Asadar, este bine ca orice continut cu adevarat sensibil sa nu fie plasat pe un server public.