Robots.txt, web sitenizin arama motorları tarafından taranabilirliğini ve indekslenmesini yönlendiren bir metin dosyasıdır. Bu dosya, web sitenizin kök dizininde bulunur ve genellikle “www.orneksite.com/robots.txt” şeklinde erişilebilir. Robots.txt dosyası, web sitenizin hangi sayfalarının arama motorları tarafından taranabileceğini ve hangilerinin taranamayacağını belirlemek için kullanılır.
Robots.txt Nasıl Çalışır?
Robots.txt dosyası, web sitenizi ziyaret eden arama motoru botlarına yönlendirme talimatları verir. Bu botlar, web sitenizin içeriğini tarar ve bu talimatlara uygun olarak sayfaları indeksler veya indekslememe kararı alır. Bu sayede, web sitenizin belirli bölümlerini veya içerikleri arama motorlarından gizleyebilirsiniz. Ayrıca arama motorlarını engelleyebilirsiniz de.
Robots.txt Dosyasının Temel Kısımları:
Bir robots.txt dosyası temel olarak iki ana bölümden oluşur: “User-agent” ve “Disallow” (ve bazen “Allow”) direktifleri.
User-agent: Hangi arama motoru botlarına yönlendirme yapılacağını belirtir. Genellikle yıldız (*) kullanarak tüm arama motorlarına işaret edilir, ancak belirli bir arama motorunu hedeflemek için o arama motorunun User-agent adını kullanabilirsiniz. Örneğin, Google’ı hedeflemek isterseniz “User-agent: Googlebot” şeklinde kullanabilirsiniz.
Disallow: Taranmasını istemediğiniz klasörleri veya sayfaları belirtir. “/” işareti kök dizini temsil eder. Örneğin, “/gizli/” ifadesi, “www.orneksite.com/gizli/” klasörünün ve içeriğinin taranmasını engeller.
Allow: Belirli klasörlerin veya sayfaların taranmasına izin verir. Özellikle bir klasörün taranmasını engellediyseniz, bu klasör içinde taranmasına izin vermek istediğiniz özel sayfaları belirtmek için kullanabilirsiniz. Örneğin, “/genel/” ifadesi, “/genel/” klasörünün taranmasına izin verir.
Örnek Robots.txt Dosyası:
Aşağıda, temel bir robots.txt dosyasının nasıl görünebileceğini anlatan örnek bir yapı bulunmaktadır:
User-agent: *
Disallow: /gizli/
Allow: /genel/
Bu örnek dosya, tüm arama motorlarına (User-agent: *) “/gizli/” klasörünü ve içeriğini taranmasını engellerken, “/genel/” klasörünün taranmasına izin verir.
