Merhabalar, bu konumuzda robots.txt nedir? Konusunda sizlerden gelen sorulara cevap vermeye çalışacağız. Bir internet sitesi sahibisiniz ve sitenizin en üst sıralarda yer almasını istiyorsunuz. Bunun için bir çok seo çalışması yapmak gerektiğini söylemek gerekmektedir.
robots.txt nedir?
Bu seo çalışmaları arasında birde öyle bir önemli konu vardır ki? Sitenizin arama motoru botları tarafından ziyarete açılmasını veya index almamasını istediğiniz bir yeri göstermek amaçlı olarak küçük bir text dosyasıdır.
robots.txt ne işe yarar?
robots.txt dosyası Google botları için bir ne yapacaklarını gösteren klavuz dosyası olarak söyleyebiliriz. Bu text dosyası Robotları engelleme standartlarında kullanılmaktadır.
robots.txt nerede bulunur?
robots.txt dosyası sitenizin kök dosyası için robots.txt uzantılı olması gerekmektedir. Buna erişmek için şu adımı yapmak gerekir. http://siteadı.com/robots.txt olarak yazdığınız da robots.txt dosyasını görüntüleyebilirsiniz. robots.txt dosyası şeklinde olmasına dikkat ediniz.
robots.txt oluşturma
Bu dosya oluşturmak aslında oldukça basittir fakat txt dosyası içine yazacağınız kodlar önemlidir. Bunun için masaüstü ne robots.txt adında bir metin belgesi oluşturun ve bu metin dosyası içine yazılabilecek iki farklı değer vardır.
User-agent: * işareti görüyorsanız Google arama motorunun istisnasız indexlenmesine izin vermiş olmaktasınız.
Fakat istediğiniz bir arama motorunun indexlenmesini istemiyorsanız User-agent * ( yandex ) olarak yazdığınız da yandex arama motorunun indexlemesine izin vermiyorsunuz demektir.
Disallow : sitenizde indexlenmesini istemediğiniz dosyaları bu komutla belirtebilirsiniz. İstemediğiniz bir alanı indexlemek istemiyorsanız Disallow /klasör adı şeklinde yazabilirsiniz.
Yukarıda google yanlış indexleme engelleme için neden önemli olduğunu anlatan bir görsel resim görüyorsunuz. Bu kişi resimlerin yüklendiği klasörü engellemediği için yanlış index aldığı için Google aramalarında bu şekilde hoş olmayan görüntü çıkmasını söyleyebiliriz.
google yanlış indexleme engelleme konusunda robots.txt dosyasının önemini bir kes daha görüyorsunuz.
Eğer ben robots.txt oluşturma işini beceremem diyorsanız google web tools üzerinden robots.txt dosyasını oluşturarak bilgisayara indirebilir ve sitenizin kök dosyasına atabilirsiniz.
“http://www.google.com.tr/webmasters/” adresi üzerinden Google kimlik bilgilerinizle giriş yapınız. Daha sonra sitenizin mülkiyeti yönet kısmından tarama > robots.txt test aracı kısmından dosyanızı görüntüleyebilirsiniz.
robots.txt dosyası kök dosyasına cpanel veya filezilla yazılımı ile sunucunuza bağlanarak atabilirsiniz. Böylece robots.txt nereye atılır? Konusunda sizlere yardımcı olmaya çalıştık.
robots.txt dosyası nereye atılır?
Sitenize en son ne zaman bot geldiğini de ayrıca görülme tarihi üzerinden görebilirsiniz. Bu konumuzda siz takipçilere robots.txt nedir, robots.txt ne işe yarar, robots.txt ne demek konusunda yardımcı olmaya çalıştık.
Bu konuda sorularınız için sayfamızın alt kısmında yorumlar kısmından veya soru & cevap sayfamızı kullanarak sorularını tarafımıza göndererek cevap alabilirsiniz.
