Arama motorları için talimatlar içeren robots.txt, bir metin dosyasıdır. Arama motorları, kullanıcılarına doğru sonuçları en hızlı şekilde vermeyi amaçlar. Bu arama motorlarında bot dediğimiz yazılım sistemi, sayfaları tarayarak dizine ekler. Ancak bir siteniz varsa, bazı sayfaların taranmasını istemeyebilirsiniz. Bu gibi durumlarda robots.txt size yardımcı olacaktır.

İçeriğimiz, robots.txt hakkında size geniş bir bilgi verecektir. Öncelikle ayrıntılı olarak söz konusu dosyanın ne demek olduğunu öğrenebileceksiniz. İlerleyen aşamada nasıl, niçin kullanılacağını ve kontrol edileceğini görebilirsiniz. Böylece siz de web sitenizdeki düzenlemeleri gerçekleştirerek istediğiniz sonuçları kendiniz belirleyebilirsiniz.

Robots.txt Nedir?

Robots.txt arama motorlarında, hangi sayfaların taranacağını veya taranamayacağını söyleyen bir metin dosyası olarak karşımıza çıkar. Bu dosya sayesinde sitenizdeki sayfaların tam dizinleri, etki alanlarını, metin dosyasını ve daha fazlasını arama motoru taraması için hariç tutabilirsiniz. Yani, sitenizin sınır kapılarını korumanızı sağlar. İçerdiği komutlar doğru şekilde hazırlandığında arama motoru botları buna uygun davranır. Sitenizi komutlarınız kapsamında tarar.

Bu konuya basit bir örnek vermek gerekirse, dizine eklemek istemediğiniz özel bir sayfanız olduğunu varsayalım. Bunun yanında birden fazla siteye sahip olduğunuzu ve tarama bütçenizi düşürmek istediğinizi düşünelim. Dosyaya verdiğiniz talimatla arama motoru robotlarının önem verdiğiniz sayfalarla ilgilenmesini sağlayabilirsiniz. Bu gibi durumlara karşı robots.txt bir hayat kurtarıcısı niteliği taşır.

Doğru robots.txt kullanımı, SEO performansınız açısından da oldukça olumlu bir etki yaratacaktır. Çünkü arama motoru botları, web sitenizden önce bu dosyayı inceler ve komutlar dahilinde sayfanızı tarar. Botlar, komutlarınıza uygun bir şekilde sadece önemli sayfaları tarama işlemini gerçekleştirir. Böylece bütçenizi sadece istediğiniz sayfalar için ayarlarsınız. Tam bu nedenden dolayı, dosyada yer alan komutlar çok önemlidir.

Robots.txt Ne için Kullanılır?

Bahsi geçen dosyanın ilk amacı, arama motoru robotlarının web sayfaların sayısını daha verimli hale getirmektir. Genel olarak web sitenizdeki ziyaretçilerin önem vermediği sayfaları gizler. Size birçok yönden avantaj sağlayan dosya, doğru şekilde hazırlanarak her web sitesinde olmalıdır. Dosyayı aşağıdaki maddeler için kullanabilirsiniz:

• Botları, özel klasörlerinizden uzak tutmanızı sağlar.
• Ziyaretçilerinize, olumlu bir deneyim sunması için kaynakları kontrol altında tutabilirsiniz.
• Site haritanızın konumunu belirlemek açısından avantajlıdır. Tarayıcılara konumunuzu bildirmek istediğinizde site haritasının taranmasına izin verebilirsiniz.
• Yinelenen içeriği, SERP sıralamasından uzak tutmak için bir kural ekleyebilirsiniz. Dolayısıyla botların yinelenen sayfaları, taramasının önüne geçebilirsiniz.

Robots.txt kullanarak arama motorlarının önemli sayfalara gitmesini sağlayabilirsiniz. Belirli sayfaları, kendi ihtiyacınıza yönelik kurallarla kontrol altına alabilirsiniz. Sitenizdeki hangi sayfaların arama yapan kullanıcıların önüne çıkacağını belirleyebilirsiniz. Yani, Google sizin önem verdiğiniz sayfaya odaklanır. Örneğin, WordPress admin panelinin otomatik olarak taranmasına izin vermez. Bulunması gereken bu sayfanın arama dizinine eklenmesine gerek yoktur.

Robots.txt Nasıl Kontrol Edilir?

Dosyanızı kontrol etme aşamasından önce, dosyayı oluşturmanız gerekebilir. Bunun için aşağıdaki adımları izlemelisiniz:

• Bir dosya oluşturun ve adını robots.txt olarak belirleyin. Bir metin düzenleyicide veya web tarayıcısında dosyayı açabilirsiniz. Belirli direktifleri yazdığınızda hazır hale geleceksiniz.
• Dosya, bir ya da daha fazla yönergeden oluşabilmektedir. Her grup birden fazla talimat ile hazırlanır. Gruplar “kullanıcı-aracı” ile başlar ve şu bilgilere sahiptir:
• Grubun kime başvurduğu
• Aracı hangi dizinleri veya dosyaları görebilir
• Aracının erişim sağlayamayacağı dosyalar ve dizinler
• İsteğe bağlı olarak, hangi sayfaların daha önemli olduğunu düşündüğünüzü gösteren bir site haritası.

Özel talimatları tamamladığınızda iki defa Enter tuşuna basabilirsiniz.

• Yönergeleri tamamladıktan sonra robots.txt dosyanızı bilgisayarınıza kaydedin. Sonrasında web sitenize yüklemelisiniz ve arama motoru taramasına açık hale getirmelisiniz. Bu konuda maalesef ki size yardımcı olacak araç şuan için yok. Dosyayı sitenize yüklemek, sitenizin dosya yapısına ve barındırma özelliğine bağlıdır.
• Dosyayı yüklemek için ilk aşamada ufak bir araştırma yapabilirsiniz. Örneğin, “WordPress robots.txt dosyası yükleme” şeklinde Google’a yazabilirsiniz.
• Dosyanın sitenize yüklenip yüklenmediğini kontrol edin.

Son aşamada çeşitli araçlarla dosyanızı test edebilirsiniz. Bunun için Google, size gelişmiş araçlarını sunmaktadır. Search Console üzerinden robots.txt’i kontrol edebilirsiniz. Web sitenizi Search Console hesabına bağladıktan sonra dosyayla ilgili gerekli bilgilere ulaşabileceksiniz. Araç, yaptığınız hataları gösterir. Gerekli uyarıları da verecektir.

Robots.txt Nasıl Düzenlenir?

Dosyanızı oluşturdunuz ve artık bazı düzenlemeler yapmanız gerekiyor. Çeşitli kuralları vererek dosyanızı yapılandırabilirsiniz. Talimatlarınız, aşağıdan yukarıya işlenir. Bu sayede büyük ve küçük harfler kolayca ayırt edilir. Genel anlamda robots.txt dosyasında aşağıdaki terimler yer almaktadır:

• user-agent: Tarayıcının adını belirtmektedir. Bu, Robots veri tabanından bulunur.
• disaallow: Belirli dosyaların veya sayfaların taranmasına izin vermez.
• allow: İstediğiniz sayfaların dizine eklenmesine izin verir.
• sitemap: İsteğinize bağlı olarak site haritasının taranmasına izin vermektedir.
• *: Herhangi bir sayıda karakteri temsil etmektedir.
• $: Satırın sonu anlamına gelmektedir.

Robots.txt dosyasındaki talimatlar, iki bölümden oluşmaktadır. İlk bölümde komutun hangi robotlar için geçerli olduğunu tanımlarsınız. İkinci kısım ise talimatı içermektedir. Örneğin: “user agent: Google Bot” ve “disallow: /clients/” şeklinde bir talimat verirseniz, Google botunun “clients” dizininde arama yapmamasına dair komut vermiş olursunuz.

Belli bir uzantıya sahip olan sayfanızın taranmaması için $ işaretini kullanabilirsiniz. Mesela; “disallow: /* .doc$” komutuyla doc uzantısına sahip tüm URL’leri engelleyebilirsiniz.

Robots.txt Test Aracı

Daha önce belirttiğimiz gibi Google Search Console üzerinden robots.txt dosyasını test edebilirsiniz. Böylece hangi URL’lere erişimin engellenip engellenmediğini görebilirsiniz. Bu araç, Google tarafından sunulduğu için direkt Google botları gibi çalışır. URL’nizin doğru bir şekilde engellenmiş olduğunu doğrular. Aşağıdaki maddelerde aracın genel sınırlamalarını görebilirsiniz:

• Araç, sadece URL ön ekiyle çalışmaktadır.
• Gerçekleştirdiğiniz düzenlemeler, bu araç üzerinde kaydedilmez. İçeriği düzenledikten sonra kopyalayıp sunucunuzda kayıtlı olan dosyaya yapıştırmanız gerekir.
• Dosyanızda yaptığınız hataları görmenizi sağlar.
• Sayfanın altında bulunan metin kutusuna sayfanızın URL’sini girmelisiniz.
• “Test” düğmesine tıkladıktan sonra teste erişebilirsiniz.
• URL’nin Google web tarayıcısına kapalı olup olmadığını, “Test” düğmesinden sonra “Kabul Edildi” veya “Engellendi” yazısından anlayabilirsiniz.
• Hataların ardından dosyanız için gerekli düzenlemeleri yapın.

Yaptığınız değişiklikleri, kendi hazırladığınız ve web sitesine yüklediğiniz dosyaya yapıştırın. Sonrasında mümkünse tekrar testi gerçekleştirin. Böylece SEO açısından bir zarara uğramazsınız. Unutmayın, robots.txt dosyasında yaptığınız bir hata, SEO çalışmalarınızı çok kötü etkileyebilir. Doğru şekilde komutları verdiğinizden emin olun ve gerekirse her düzenlemeden sonra kontrol edin.

Sıkça Sorulan Sorular