Web siteleri belirli sıklıklarla ziyaret eden arama motoru botları dizin ekleme ve tarama kontrollerini yaparken robots.txt dosyasından yardım almaktadır. ‘Robot Engelleme Standardı’ şeklinde Türkçe olarak ifade edebileceğimiz robots.txt dosyası bir arama motoru tarayıcısının kendi sunucusunda yer alan hangi dosyalara erişip hangilerine erişmeyeceğini belirleyen dosyadır.
Bu dosya yalnızca dosyalar ile ilgili değil URL ile ilgili yönergeler de kurabilmektedir. Dosyanın kullanımı ile ilgili internette pek çok hatalı bilgi dolaşmaktadır. Bu hatalı bilgileri aşmak adına; robots.txt dosyasının ne olduğu, nasıl kullanıldığı, önerilen bazı komutlar gibi unsurlara bu içeriğimizde detaylı biçimde yer vereceğiz.
Robots.txt Nedir?
Robots.txt; bir web sitesinde bulunan sayfaları taramak ve gözden geçirmek için siteye giren arama motoru botlarının hangi sayfaları taraması veya taramaması gerektiği komutunu veren txt formatında basit bir metin dosyasıdır.
Robots.txt dosyasının içinde yazan komutlara arama motoru botları genel olarak uygun şekilde hareket ederler. Eğer web sitenin içinde yer alan bazı sayfaların taranmaması için robots.txt dosyasında komut verilmişse; ancak bununla birlikte diğer sayfalardan dahili ya da harici bağlantı oluşturulmuşsa arama motoru botları verilen komutu önemsemez ve ilgili sayfayı tarar.
500 Kodlu HTTP Internal Server Hatası
Eğer arama motoru botları bir web siteye girdiğinde robots.txt dosyasını okuma aşamasındayken 500 Kodlu HTTP Internal Server ya da diğer bazı durum kodları ile karşılaşırsa sitede hata olduğuna karar verir ve taramayı durdurur. Bu durumda her ne kadar güncelleme veya başka çalışma yapılsa da indexlenme olmayacaktır ve arama motoru siteyi takip edip hakkında kararlar alamayacaktır. Bu nedenle hata kodları ile karşılaşıldığında derhal müdahale edilmelidir.
Robots.txt Nasıl Kullanılır?
Robots.txt kullanımı için şu adımları takip edebilirsiniz:
- İlk olarak Notepad, Sublime Text gibi herhangi bir uygulamayı kullanarak boş bir dosya açıp dosyanın içerisine bazı komutların yazılması gerekmektedir.
- User-agent, Allow, Disllow, Sitemap gibi çeşitli komutları oluşturunuz.
- txt komutlarınızı oluşturduktan sonra dosyanın adını ‘robots.txt’ şeklinde yazmalısınız.
- Ardından dosyayı sitenin kök dizininin alt kısmına yerleştirilmesi gerekmektedir.
- Böylece bundan sonra web siteye giren arama motoru botları buradaki direktiflere uygun şekilde hareket ederek siteyi tarayacaktır.
Önerilen Bazı Robots.txt Komutları
Arama motoru botlarına çeşitli komutlar vermek web sitenin genel SEO performansını doğrudan etkileyecek bir eylemdir. Bu nedenle doğru stratejiyi izleyerek sitenin SEO performansını arttırmak için çeşitli Robots.txt komutlarından faydalanılabilir. Bu komutlardan bazılarını şu şekilde sıralayabiliriz:
- User-agent
- Allow
- Disallow
- Sitemap
User-agent
Bu komut siteyi ziyaret eden arama motoru botlarından hangisi için hangi komutun verildiğine dair bir göstergedir. Örnek olarak; Googlebot için farklı komutlar, Applebot için farklı komutlar verilmişse bu komutları birbirinden ayrıştırarak botlara kendilerinin izlemesi gereken yolu öğrenmeleri için user-agent komutundan faydalanılır.
Allow
İngilizce olan ‘allow’ kelimesi Türkçeye ‘izin vermek’ şeklinde çevrilir. Arama motoru botlarının sitedeki hangi sayfalarda gezinmesine izin verildiğini bu komut göstermektedir.
Disallow
İzin vermek kelimesinin zıddı olan ‘disallow’ komutu da arama motoru botlarının sitedeki hangi sayfaları ziyaret etmeye izninin olmadığını göstermektedir.
Sitemap
Bir web sitesinin sayfalarının bir listesini içeren site haritasına ‘sitemap’ adı verilmektedir. Bir dosya şeklinde sitede bulundurulan sitemap dosyasına arama motoru botlarının direkt ulaşarak rahatça gezinmesine yardımcı olmak için site sahipleri bu komutu verebilir.
