Robots.txt nedir, ne işe yarar, nasıl oluşturulur

Robots.txt internet ortamı üzerinde tüm arama motorları ve örümceklerin sizin sitenizde gezmesi yada gezmemesi için ayarlanması gereken bir dosyadır. Bu dosya sayesinde siteniz içerisindeki belirli bölümleri belirli örümceklere kapatabilir/açabilirsiniz.
Kullanılmalıdır, faydalıdır.

Kısaca birkaç bilgi:

User-Agent:*
Disallow: /admin/


* : bütün örümcekler demek.
disallow: bu dizini indexleme, görmezden gel, girme demek.
kafanıza göre düzenleyebilirsiniz.

robots.txt dosyasını oluşturduktan sonra siteadı.com/robots.txt şeklinde kullanmalısınız. ana dizinde olmalı yani.
iyi çalışmalar.

detayli bilgi > The Web Robots Pages

, , , , , ,

  • berkay

    txt ne dir

  • txt bir dosya uzantısıdır. Windows işletim sisteminde default olarak notepad ile ilişkilendirilmiştir. Düz yazı yazdığınız, metin dosyasıdır yani.

Powered by WordPress. Designed by WooThemes

%d blogcu bunu beğendi: