Merhabalar bu konu anlatımında seo çalışması konusunda önemli konulardan biride robots.txt dosyası nedir? Ne işe yarar bununla ilgili olarak sorulara cevap vermeye çalışacağız.
Google bir siteye geldiğinde eğer hosting de bu dosyayı bulamazsa indexleme yapmaması bile söz konusudur. Robots.txt dosyası arama motorlarını yönlendirerek hangi sayfaların index alıp almayacaklarını belirten dosyadır.
Sitenizde robots.txt dosyası var mı? Bunu kontrol etmek için www.site.com/ robots.txt şeklinde yazarak kontrol edebilirsiniz. Eğer bu dosya sitenin kökünde yoksa arama motorları hangi sayfayı indexleyeceğini bilemediği için sitenizin tamamı indexlemez veya login sayfasına kadar indexleme yaparak aramalarda farklı sonuçlar çıkararak indexleme hatası verebilir.
Eğer siteniz de robots.txt dosyası yoksa sizde bu basit dosyası kendinizde oluşturabilirsniz. Daha önceki konularımızda yazdığımız gibi robots.txt nasıl oluşturulur konumuzu okuyarak sizde oluşturabilir veya WordPress tabanlı site kullanıyorsanız robots.txt oluşturma aracı eklentileri sayesinde sitenize bir robots.txt dosyası oluşturun.
ROBOTS.TXT GENERATOR
“https://smallseotools.com/robots-txt-generator/” adresi üzerinden sitenizle ilgili bir robots.txt dosyası oluşturarak sitenin kök dosyası attıktan sonra robots.txt checker veya Google WebMaster üzerinden kontrol edebilirsiniz.
robots.txt dosyası cpanel veya filezilla gibi araçlarla sitenizin kök dosyası içine atarak kullanmaya başlayabilirsiniz.
Bu konumuzda robots.txt ne işe yarar konusunda bilgi vermeye çalıştık. Bununla alakalı sorularınız için sayfamızın hemen altında yorumlar kısmından tarafımıza sorularınızı sorabilirsiniz.
