Robots.txt Dosyasını SEO için Yapılandırma

Web siteleri için en önemli unsurlardan biri olan SEO için dikkat edilmesi gereken Robots.txt dosyasıdır. Sitenizin arama motorlarında üst sıralara çıkması için doğru yapılandırılmalıdır. Çünkü arama motoru botları web siteleri ziyaret ettiğinde ilk olarak Robots.txt dosyasının içeriğine bakmaktadır. Böylece hangi dosya ve dizinlerin tarama yapılacağını tespit ediyor ve arama işlemi için yapılandırma yapıyor. Eğer yanlış yapılandırma yapılmış ise siteniz ile ilgili aramalarda bulunmuyor. Yani SEO açısından sitenize zarar vermektedir. Mutlaka Robots.txt doğru yapılandırılmalıdır.

Robots.txt komut dosyası sayesinde arama motoru botlarının sitenizdeki hangi alanlara erişebileceklerini belirleyebildiğiniz gibi hangi arama motoru botlarının dosyalarınıza erişebileceğini de belirleyebilirsiniz. Yani erişime açtığınız bir site alanına bazı arama motoru botlarının ulaşmasını da robots.txt sayesinde engelleyebilirsiniz. Robots.txt dosyası her web sitesinde olması gereken ve doğru hazırlanmış olması gereken bir dosyadır. Peki, SEO için en doğru robots.txt yönetimi nasıl olmalıdır? Robots.txt dosyası neden kullanılmalıdır? Robots.txt komut dosyası hakkında bilinmesi gereken önemli detaylar nelerdir?

Robots.txt dosyasının genel kullanım amacı arama motoru botlarının sitenizde erişebileceği alanların belirlenmesine yöneliktir. Ancak robots.txt dosyası sadece bu amaçla kullanılmamaktadır. Örneğin; siteniz yapım aşamasındaysa, genel bir bakım söz konusuysa veya site tasarımında değişiklik yapıyorsanız böyle durumlarda da robots.txt komutları kullanılabilmektedir. Eğer ki siteniz yeni bir web sitesiyse ve henüz tasarım çalışmalarınız bitmediyse böyle bir durumda arama motoru botlarının sitenize erişimini engelleme adına bu dosyadan faydalanabilirsiniz. Sonrasında site üzerindeki çalışmalar bittiğinde ise robots.txt dosyasını düzenleyerek sitenizi ve ilgili alanları arama motoru botlarının erişimine açabilirsiniz.

Robots.txt kullanılmak istenmesinin bir başka nedeni de ücretli bağlantıların kullanılmak istenmesidir. Ayrıca arama motorları robotları için özel talimatlara ihtiyaç duyan reklamların sitede kullanılabilmesi içinde robots.txt dosya komutu kullanılmaktadır. Henüz site için SEO çalışmalarına başlanmadıysa veya site içerisinde SEO açısından eksiklikler varsa bu gibi durumlarda da arama motoru botlarının siteyi indekslemesinin engellemesi için robots.txt sık olarak kullanılmaktadır.

Robots.txt Dosyası için Kullanılan Komutlar

Robots.txs dosya komutu ile site sahipleri temelde dört farklı komut dosyasına sahip olmaktadır. Dosya komutları her zaman kesin ve net olarak oluşturulmalıdır. Yazım yanlışı yapılmadığından emin olunmalıdır. Komut dosyalarında küçük, büyük harf ayrımı yapılmamaktadır. Ancak komut dosyasında belirtilmiş olan dizin ya da URL’lerde büyük, küçük harf ayrımı veya özel karakter ayrımı yapılmaktadır.

User-agent Robots.txt Dosyası Kullanımı

User-agent dosya komutu kullanılarak arama motoru botlarının sitenizi taramasına izin verebilir ya da taramalarını engelleyebilirsiniz. Tüm arama motoru botlarının sitenizi taramasına izin vermek için komut satırını aşağıdaki gibi kullanabilirsiniz;

User-agent: *

Arama motoru botlarının sitenizi taramasını engellemek için ise robots.txt komutunu aşağıdaki gibi kullanmanız gerekmektedir;

user-agent: *
disallow: /

Dizin Engelleme veya Dizin İzin Verme

Robots.txt komut dosyası ile sitenizdeki belirli dizinlerin erişimini arama motoru botlarına kapatabilir veya erişmelerine izin verebilirsiniz. Bunun için allow veya disallow komutunu kullanmanız gerekmektedir. Disallow olarak kullanım gerçekleştirirseniz bu komut dosyasındaki kısıtlama sadece arama motoru örümceklerine özel olmaktadır. Yani herhangi bir dizinin erişimini arama motoru botlarına engellemeniz, ilgili dizine kullanıcıların erişimini engellememektedir. Herhangi bir dizini arama motoru botlarına karşı sınırlandırmak için aşağıdaki komutu kullanabilirsiniz;

user-agent: *
disallow: /ornek/

Bu komut satırını sitenize eklemeniz durumunda arama motoru örümcekleri sitenizdeki
http://www.orneksite.com/ornek/URL’sine sahip olan “ornek” dizinini taramayacaktır. Ayrıca bu dizin içerisinde yer almakta olan sayfalarda dizine eklenmeyecektir.

Sayfa Engelleme veya Sayfa İzin Verme

Robots.txt komut kullanımında dilerseniz sitenizdeki belirli sayfalara erişim kısıtlaması getirebilir ya da istediğiniz sayfaların erişimine izin verebilirsiniz. Bunun izin vermek için allow erişim kısıtlamak için ise disallow komut satırını kullanmanız gerekmektedir. Dizin erişimi engelleme de olduğu gibi sayfa engelleme de yapılacak kısıtlama sadece arama motoru botlarına özgüdür. Yani sitenize gelen kullanıcılar ilgili sayfalara erişebilecektir. Aşağıdaki komut satırını kullanarak sayfa erişim kısıtlaması yapabilirsiniz;

user-agent: *
disallow: /ornek-calismalar.html/

Bu robots.txt komut satırını kullanarak
http://www.orneksite.com/ornek-calismalar.html/ adresinde yer almakta olan içeriğin taranması ve dizine eklenmesi engellemiş olacaktır.

Tarama Gecikmesi Belirtme

Robots.txt dosyası içerisinde crawl-delay komut satırı kullanılarak arama motoru örümceklerinin sitede tarama yapması için kullanabileceği süreyi belirleyebilirsiniz. Bu komutun kullanılmasının sebebi sayfa yüklenmesini geciktiren botların olumsuzluğunu engellemek, sıklıkla sunucu hatası yaşanan sitelerin veya yüksek ziyaretçisinden dolayı trafik yoğunluğu olan sitelerin hizmet verememe ihtimalini ortadan kaldırmaktır. Tarama gecikmesi belirtmek için robots.txt dosyasında aşağıdaki gibi komut satırı oluşturabilirsiniz;

user-agent: yandexbot
crawl-delay: 3

Bu komut satırı ile sitenize gelen yandexbot arama motoru botlarının sitenizde sadece 3 dakika boyunca tarama yapmasını istediğinizi belirtirsiniz.

Özel Robots.txt Dosya Komutları

Robots.txt dosyasında yukarıda belirtilen dosya komutlarının haricinde bazı özel komutlarda kullanılabilmektedir. Belirli bir karakteri içeren ya da belirli bir URL’yi içeren sayfaları tamamıyla arama motoru örümcüklerinin erişimine kapatmanız mümkündür. Bazı özel robots.txt dosya komutlarına örnek vermek gerekirse;

user-agent: *
Disallow: /*.swf$

Yukarıdaki örnekteki gibi dosya içerisinde bu komut satırını kullanırsanız sitenizde URL uzantısı .swf olan tüm sayfaları arama motoru botlarının erişimine kapatmış olursunuz.

User-agent: Googlebot
Disallow: /*.asp$

İçerisinde $ işareti olan yukarıdaki komut satırını kullanırsanız, sitenizdeki URL uzantısı .asp olan bütün sayfaları arama motoru botlarının erişimine kapatmış olursunuz.

Umarım faydalı olmuştur. Diğer yazılarımda görüşmek üzere...