Tiedostoa käytetään ohjaamaan tai kertomaan web-botteja, mitä sivuja ja hakemistoja indeksoidaan tai ei indeksoida. Tämä tiedosto on sijoitettava sivujasi palvelevan palvelimen juurihakemistoon. Tiedoston pitäisi olla nimeltään robots.txt, ja siinä pitäisi olla lukuoikeudet. Alla on esimerkki robots.txt-tiedostosta.

 # robots.txt-tiedosto //www.computerhope.comUser-agent: * Disallow: / directory1 / 
Hylkää: / hakemisto2 /

Edellä olevassa robots.txt-esimerkissä ensimmäinen rivi on ei-suoritettava lauseke, joka kuvaa tiedostoa. Seuraavaksi käyttäjäagentin rivi kertoo, mitä robotteja tai robotteja tulisi noudattaa tämän tiedoston osassa. Edellä olevassa esimerkissä * edustaa kaikkia botteja. Lopuksi kaksi seuraavaa riviä ovat kaksi hakemistoa, joita botit eivät indeksoi.

Jos haluat sallia, että botti kysyy kaikki sivustosi URL-osoitteet, kirjoita botin nimi ja sen jälkeen kieltää: tyhjällä arvolla, kuten alla olevassa esimerkissä näkyy.

 Käyttäjäagentti: Somebot *
Disallow: 

Internet-termit, Meta-tunnisteet, Robotti, SEO-termit, Sivustokartta, Web-suunnittelun ehdot