Robots.txt Nedir ? Ne işe Yarar? Nasıl Kullanılır ?
Robots.txt dosyası arama motorlarını bir nevi yönlendiren dosyadırBu dosyaya göre.arama motorları sizin istediğiniz yerleri indexler, istemediğiniz yerleri indexlemez.Bu dosya basitçe notepad ile hazırlanabilir ve sitenizin bulunduğu dizinde olmalıdır.
Robots.txt dosyasını kullanmaktaki amaç nedir ?
Büyük arama motorları sitenizi ziyaret ettiği zaman öncelikle robots.txt dosyasına bakar ve ona dikkat eder.Örneğin sitenizin gereksiz yerlerini,özel yerlerini arama motorları botlarının indexlemesini istemiyorsanız bu dosya sizin için önemlidir.
Robots.txt nasıl kullanılır ?
User-Agent: [Örümcek ya da Bot ismi]
Disallow: [Klasör ya da Dosya ismi]
Bu şekilde kullanılır örnek olarak
User-Agent: *
Disallow: /admincp/
Burada User-Agent: * bu ifade tüm web sitesini indexle
Disallow:/admincp/ ifadesi ise admincp klasörünü indexleme demektir.
Eğer sitemizin her yerinin indexlenmesini istiyorsak robots.txt içine bunları yazmanız
User-agent: *
Disallow:
Ya da içini boş bırakmanız aynı şey demektir.
Birden fazla klasörün indexlenmesini engellemek ise şu şekildedir.
User-Agent: *
Disallow: /admincp/
Disallow: /modcp/
Disallow: /arcpanel/
Gibi devam ettirebilirsiniz.
Comments (0)
Yorum Gönder