Instructies zoekmachines

In de hoofdmap op de server wordt het bestand robots.txt geplaatst waarin aangegeven kan worden welke zoekrobots niet welkom zijn en welke pagina’s niet geïndexeerd mogen worden.

Sta alle zoekmachines overal op je site toe wanneer je niets wil beperken:

User-agent: *
Disallow:

Verbied een bepaalde zoekrobot toegang tot de gehele site:

User-agent: spambot10000
Disallow: /

Sluit bepaalde gebieden uit voor alle zoekrobots:

User-agent: *
Disallow: /cgi-bin/
Disallow: /test/
Disallow: /prive/

Uitgebreide voorbeeld:
http://nl.wikipedia.org/robots.txt

Eenvoudig voorbeeld:
http://web.archive.org/robots.txt

Lijst met zoekrobots:
http://www.robotstxt.org/db.html