Arama motorlar? için talimatlar içeren robots.txt, bir metin dosyas?d?r. Arama motorlar?, kullan?c?lar?na do?ru sonuçlar? en h?zl? ?ekilde vermeyi amaçlar. Bu arama motorlar?nda bot dedi?imiz yaz?l?m sistemi, sayfalar? tarayarak dizine ekler. Ancak bir siteniz varsa, baz? sayfalar?n taranmas?n? istemeyebilirsiniz. Bu gibi durumlarda robots.txt size yard?mc? olacakt?r.

?çeri?imiz, robots.txt hakk?nda size geni? bir bilgi verecektir. Öncelikle ayr?nt?l? olarak söz konusu dosyan?n ne demek oldu?unu ö?renebileceksiniz. ?lerleyen a?amada nas?l, niçin kullan?laca??n? ve kontrol edilece?ini görebilirsiniz. Böylece siz de web sitenizdeki düzenlemeleri gerçekle?tirerek istedi?iniz sonuçlar? kendiniz belirleyebilirsiniz.

Robots.txt Nedir?

Robots.txt arama motorlar?nda, hangi sayfalar?n taranaca??n? veya taranamayaca??n? söyleyen bir metin dosyas? olarak kar??m?za ç?kar. Bu dosya sayesinde sitenizdeki sayfalar?n tam dizinleri, etki alanlar?n?, metin dosyas?n? ve daha fazlas?n? arama motoru taramas? için hariç tutabilirsiniz. Yani, sitenizin s?n?r kap?lar?n? koruman?z? sa?lar. ?çerdi?i komutlar do?ru ?ekilde haz?rland???nda arama motoru botlar? buna uygun davran?r. Sitenizi komutlar?n?z kapsam?nda tarar.

Bu konuya basit bir örnek vermek gerekirse, dizine eklemek istemedi?iniz özel bir sayfan?z oldu?unu varsayal?m. Bunun yan?nda birden fazla siteye sahip oldu?unuzu ve tarama bütçenizi dü?ürmek istedi?inizi dü?ünelim. Dosyaya verdi?iniz talimatla arama motoru robotlar?n?n önem verdi?iniz sayfalarla ilgilenmesini sa?layabilirsiniz. Bu gibi durumlara kar?? robots.txt bir hayat kurtar?c?s? niteli?i ta??r.

Do?ru robots.txt kullan?m?, SEO performans?n?z aç?s?ndan da oldukça olumlu bir etki yaratacakt?r. Çünkü arama motoru botlar?, web sitenizden önce bu dosyay? inceler ve komutlar dahilinde sayfan?z? tarar. Botlar, komutlar?n?za uygun bir ?ekilde sadece önemli sayfalar? tarama i?lemini gerçekle?tirir. Böylece bütçenizi sadece istedi?iniz sayfalar için ayarlars?n?z. Tam bu nedenden dolay?, dosyada yer alan komutlar çok önemlidir.

Robots.txt Ne için Kullan?l?r?

Bahsi geçen dosyan?n ilk amac?, arama motoru robotlar?n?n web sayfalar?n say?s?n? daha verimli hale getirmektir. Genel olarak web sitenizdeki ziyaretçilerin önem vermedi?i sayfalar? gizler. Size birçok yönden avantaj sa?layan dosya, do?ru ?ekilde haz?rlanarak her web sitesinde olmal?d?r. Dosyay? a?a??daki maddeler için kullanabilirsiniz:

• Botlar?, özel klasörlerinizden uzak tutman?z? sa?lar.
• Ziyaretçilerinize, olumlu bir deneyim sunmas? için kaynaklar? kontrol alt?nda tutabilirsiniz.
• Site haritan?z?n konumunu belirlemek aç?s?ndan avantajl?d?r. Taray?c?lara konumunuzu bildirmek istedi?inizde site haritas?n?n taranmas?na izin verebilirsiniz.
• Yinelenen içeri?i, SERP s?ralamas?ndan uzak tutmak için bir kural ekleyebilirsiniz. Dolay?s?yla botlar?n yinelenen sayfalar?, taramas?n?n önüne geçebilirsiniz.

Robots.txt kullanarak arama motorlar?n?n önemli sayfalara gitmesini sa?layabilirsiniz. Belirli sayfalar?, kendi ihtiyac?n?za yönelik kurallarla kontrol alt?na alabilirsiniz. Sitenizdeki hangi sayfalar?n arama yapan kullan?c?lar?n önüne ç?kaca??n? belirleyebilirsiniz. Yani, Google sizin önem verdi?iniz sayfaya odaklan?r. Örne?in, WordPress admin panelinin otomatik olarak taranmas?na izin vermez. Bulunmas? gereken bu sayfan?n arama dizinine eklenmesine gerek yoktur.

Robots.txt Nas?l Kontrol Edilir?

Dosyan?z? kontrol etme a?amas?ndan önce, dosyay? olu?turman?z gerekebilir. Bunun için a?a??daki ad?mlar? izlemelisiniz:

• Bir dosya olu?turun ve ad?n? robots.txt olarak belirleyin. Bir metin düzenleyicide veya web taray?c?s?nda dosyay? açabilirsiniz. Belirli direktifleri yazd???n?zda haz?r hale geleceksiniz.
• Dosya, bir ya da daha fazla yönergeden olu?abilmektedir. Her grup birden fazla talimat ile haz?rlan?r. Gruplar “kullan?c?-arac?” ile ba?lar ve ?u bilgilere sahiptir:
• Grubun kime ba?vurdu?u
• Arac? hangi dizinleri veya dosyalar? görebilir
• Arac?n?n eri?im sa?layamayaca?? dosyalar ve dizinler
• ?ste?e ba?l? olarak, hangi sayfalar?n daha önemli oldu?unu dü?ündü?ünüzü gösteren bir site haritas?.

Özel talimatlar? tamamlad???n?zda iki defa Enter tu?una basabilirsiniz.

• Yönergeleri tamamlad?ktan sonra robots.txt dosyan?z? bilgisayar?n?za kaydedin. Sonras?nda web sitenize yüklemelisiniz ve arama motoru taramas?na aç?k hale getirmelisiniz. Bu konuda maalesef ki size yard?mc? olacak araç ?uan için yok. Dosyay? sitenize yüklemek, sitenizin dosya yap?s?na ve bar?nd?rma özelli?ine ba?l?d?r.
• Dosyay? yüklemek için ilk a?amada ufak bir ara?t?rma yapabilirsiniz. Örne?in, “WordPress robots.txt dosyas? yükleme” ?eklinde Google’a yazabilirsiniz.
• Dosyan?n sitenize yüklenip yüklenmedi?ini kontrol edin.

Son a?amada çe?itli araçlarla dosyan?z? test edebilirsiniz. Bunun için Google, size geli?mi? araçlar?n? sunmaktad?r. Search Console üzerinden robots.txt’i kontrol edebilirsiniz. Web sitenizi Search Console hesab?na ba?lad?ktan sonra dosyayla ilgili gerekli bilgilere ula?abileceksiniz. Araç, yapt???n?z hatalar? gösterir. Gerekli uyar?lar? da verecektir.

Robots.txt Nas?l Düzenlenir?

Dosyan?z? olu?turdunuz ve art?k baz? düzenlemeler yapman?z gerekiyor. Çe?itli kurallar? vererek dosyan?z? yap?land?rabilirsiniz. Talimatlar?n?z, a?a??dan yukar?ya i?lenir. Bu sayede büyük ve küçük harfler kolayca ay?rt edilir. Genel anlamda robots.txt dosyas?nda a?a??daki terimler yer almaktad?r:

• user-agent: Taray?c?n?n ad?n? belirtmektedir. Bu, Robots veri taban?ndan bulunur.
• disaallow: Belirli dosyalar?n veya sayfalar?n taranmas?na izin vermez.
• allow: ?stedi?iniz sayfalar?n dizine eklenmesine izin verir.
• sitemap: ?ste?inize ba?l? olarak site haritas?n?n taranmas?na izin vermektedir.
• *: Herhangi bir say?da karakteri temsil etmektedir.
• $: Sat?r?n sonu anlam?na gelmektedir.

Robots.txt dosyas?ndaki talimatlar, iki bölümden olu?maktad?r. ?lk bölümde komutun hangi robotlar için geçerli oldu?unu tan?mlars?n?z. ?kinci k?s?m ise talimat? içermektedir. Örne?in: “user agent: Google Bot” ve “disallow: /clients/” ?eklinde bir talimat verirseniz, Google botunun “clients” dizininde arama yapmamas?na dair komut vermi? olursunuz.

Belli bir uzant?ya sahip olan sayfan?z?n taranmamas? için $ i?aretini kullanabilirsiniz. Mesela; “disallow: /* .doc$” komutuyla doc uzant?s?na sahip tüm URL’leri engelleyebilirsiniz.

Robots.txt Test Arac?

Daha önce belirtti?imiz gibi Google Search Console üzerinden robots.txt dosyas?n? test edebilirsiniz. Böylece hangi URL’lere eri?imin engellenip engellenmedi?ini görebilirsiniz. Bu araç, Google taraf?ndan sunuldu?u için direkt Google botlar? gibi çal???r. URL’nizin do?ru bir ?ekilde engellenmi? oldu?unu do?rular. A?a??daki maddelerde arac?n genel s?n?rlamalar?n? görebilirsiniz:

• Araç, sadece URL ön ekiyle çal??maktad?r.
• Gerçekle?tirdi?iniz düzenlemeler, bu araç üzerinde kaydedilmez. ?çeri?i düzenledikten sonra kopyalay?p sunucunuzda kay?tl? olan dosyaya yap??t?rman?z gerekir.
• Dosyan?zda yapt???n?z hatalar? görmenizi sa?lar.
• Sayfan?n alt?nda bulunan metin kutusuna sayfan?z?n URL’sini girmelisiniz.
• “Test” dü?mesine t?klad?ktan sonra teste eri?ebilirsiniz.
• URL’nin Google web taray?c?s?na kapal? olup olmad???n?, “Test” dü?mesinden sonra “Kabul Edildi” veya “Engellendi” yaz?s?ndan anlayabilirsiniz.
• Hatalar?n ard?ndan dosyan?z için gerekli düzenlemeleri yap?n.

Yapt???n?z de?i?iklikleri, kendi haz?rlad???n?z ve web sitesine yükledi?iniz dosyaya yap??t?r?n. Sonras?nda mümkünse tekrar testi gerçekle?tirin. Böylece SEO aç?s?ndan bir zarara u?ramazs?n?z. Unutmay?n, robots.txt dosyas?nda yapt???n?z bir hata, SEO çal??malar?n?z? çok kötü etkileyebilir. Do?ru ?ekilde komutlar? verdi?inizden emin olun ve gerekirse her düzenlemeden sonra kontrol edin.

S?kça Sorulan Sorular