Robots.txt, web sitenizin arama motorları tarafından taranabilirliğini ve indekslenmesini yönlendiren bir metin dosyasıdır. Bu dosya, web sitenizin kök dizininde bulunur ve genellikle “www.orneksite.com/robots.txt” şeklinde erişilebilir. Robots.txt dosyası, web sitenizin hangi sayfalarının arama motorları tarafından taranabileceğini ve hangilerinin taranamayacağını belirlemek için kullanılır.
Robots.txt Nasıl Çalışır?
Robots.txt dosyası, web sitenizi ziyaret eden arama motoru botlarına yönlendirme talimatları verir. Bu botlar, web sitenizin içeriğini tarar ve bu talimatlara uygun olarak sayfaları indeksler veya indekslememe kararı alır. Bu sayede, web sitenizin belirli bölümlerini veya içerikleri arama motorlarından gizleyebilirsiniz. Ayrıca arama motorlarını engelleyebilirsiniz de.
Robots.txt Dosyasının Temel Kısımları:
Bir robots.txt dosyası temel olarak iki ana bölümden oluşur: “User-agent” ve “Disallow” (ve bazen “Allow”) direktifleri.
User-agent: Hangi arama motoru botlarına yönlendirme yapılacağını belirtir. Genellikle yıldız (*) kullanarak tüm arama motorlarına işaret edilir, ancak belirli bir arama motorunu hedeflemek için o arama motorunun User-agent adını kullanabilirsiniz. Örneğin, Google’ı hedeflemek isterseniz “User-agent: Googlebot” şeklinde kullanabilirsiniz.
Disallow: Taranmasını istemediğiniz klasörleri veya sayfaları belirtir. “/” işareti kök dizini temsil eder. Örneğin, “/gizli/” ifadesi, “www.orneksite.com/gizli/” klasörünün ve içeriğinin taranmasını engeller.
Allow: Belirli klasörlerin veya sayfaların taranmasına izin verir. Özellikle bir klasörün taranmasını engellediyseniz, bu klasör içinde taranmasına izin vermek istediğiniz özel sayfaları belirtmek için kullanabilirsiniz. Örneğin, “/genel/” ifadesi, “/genel/” klasörünün taranmasına izin verir.
Örnek Robots.txt Dosyası:
Aşağıda, temel bir robots.txt dosyasının nasıl görünebileceğini anlatan örnek bir yapı bulunmaktadır:
User-agent: *
Disallow: /gizli/
Allow: /genel/
Bu örnek dosya, tüm arama motorlarına (User-agent: *) “/gizli/” klasörünü ve içeriğini taranmasını engellerken, “/genel/” klasörünün taranmasına izin verir.
Dikkat Edilmesi Gereken Noktalar:
Robots.txt dosyası web sitenizin kök dizininde olmalıdır.
Dosya adı kesinlikle “robots.txt” olmalıdır.
Doğru bir şekilde yapılandırılmayan veya eksik olan bir robots.txt dosyası, arama motorlarının web sitenizi düzgün bir şekilde indekslemesini engelleyebilir. Bu nedenle dikkatli ve özenli olmak önemlidir.
Tersine, yanlış yapılandırılmış bir robots.txt dosyası, gizli tutmak istemediğiniz içeriğin indekslenmesine izin verebilir.
Robots.txt dosyası, web sitenizin arama motorları tarafından nasıl taranacağını kontrol etmek için kullanılan güçlü bir araçtır. Bu dosyayı dikkatlice oluşturarak ve yöneterek; web sitenizin görünürlüğünü artırabilir, web sitenizi istenmeyen taramalardan koruyabilirsiniz.
Robot.txt hakkında daha detaylı bilgi almak isterseniz Google Yardım Merkezini ziyaret edebilirsiniz.
Robots.txt Oluşturma Araçları:
Robots.txt Generator:
Çeşitli online araçlar, kullanıcıların kolayca robots.txt dosyalarını oluşturmasına yardımcı olabilir. Bu araçlar, kullanıcıların belirli dizinleri veya sayfaları engellemelerini sağlar.
