SEO Webmaster

Robots.txt nedir, ne işe yarar, nasıl oluşturulur

Robots.txt internet ortamı üzerinde tüm arama motorları ve örümceklerin sizin sitenizde gezmesi yada gezmemesi için ayarlanması gereken bir dosyadır. Bu dosya sayesinde siteniz içerisindeki belirli bölümleri belirli örümceklere kapatabilir/açabilirsiniz.
Kullanılmalıdır, faydalıdır.

Kısaca birkaç bilgi:

User-Agent:*
Disallow: /admin/


* : bütün örümcekler demek.
disallow: bu dizini indexleme, görmezden gel, girme demek.
kafanıza göre düzenleyebilirsiniz.

robots.txt dosyasını oluşturduktan sonra siteadı.com/robots.txt şeklinde kullanmalısınız. ana dizinde olmalı yani.
iyi çalışmalar.

detayli bilgi > The Web Robots Pages

%d blogcu bunu beğendi: