internet ortamı üzerinde tüm arama motorları ve örümceklerin sizin sitenizde gezmesi yada gezmemesi için ayarlanması gereken bir dosyadır. Bu dosya sayesinde siteniz içerisindeki belirli bölümleri belirli örümceklere kapatabilir/açabilirsiniz.
Kullanılmalıdır, faydalıdır.

Kısaca birkaç bilgi:

User-Agent:*
Disallow: /admin/


* : bütün örümcekler demek.
disallow: bu dizini indexleme, görmezden gel, girme demek.
kafanıza göre düzenleyebilirsiniz.

dosyasını oluşturduktan sonra siteadı.com/ şeklinde kullanmalısınız. ana dizinde olmalı yani.
iyi çalışmalar.

detayli bilgi > The Web Robots Pages

Belki şu konular da ilginizi çekebilir: