Robots.txt Oluşturucu
Robots.txt Oluşturucu Aracı, web sitelerini Googlebot ile daha uyumlu hale getirebilmeleri konusunda webmasterlar için son derece yararlı bir araçtır. Tamamiyle ücretsiz olan aracımız bu yardımı robot.txt dosyası oluşturarak yapıyor. Sadece birkaç tıklama ile Googlebot dostu olan robots.txt dosyası oluşturuyor ve webmasterların hayatlarını kolaylaştırıyor.
Herhangi bir arama botunun web sitelerinin kök dizinlerinde yer alan hangi kayıtları ya da dosyaları tarayabileceğini belirleyebilirler. Ayrıca dilerseniz sitenizin dizinine hangi robotların erişebileceğini seçebilir ve seçtikleriniz dışında kalan robotları sınırlayabilirsiniz. Hatta bu seçtiğiniz robotlardan hangisinin kök dizindeki bir dosyaya ya da hangisinin bir başka dosyaya erişebileceğini bile belirleyebilirsiniz.