Robots.txt Test Aracı

Başlamak için yukarıdaki alana bir web sitesi girmelisiniz.

Robots.txt

Google tarafından hangi sayfaların Google dizinine eklenip eklenmemesi (index) gerektiğine robots.txt dosyası ile karar verebilirsiniz.

 Robots.txt Nedir?

Robots.txt dosyası, Google ve Bing gibi arama motorlarına web sitenizin hangi bölümlerin taranıp taranmayacağını bildiren txt uzantılı bir dosyadır. Arama motoru örümcekleri, web sitenize girdiğinde ilk baktığı yer bu dosyadır.

“Yinelenen içeriği” önlemek ve web sitenizin tarama bütçesini optimize etmek için robots.txt dosyasını en iyi şekilde optimize etmeniz gerekiyor.

Robots.txt dosyasındaki öğeler

User-agent: Arama motorunu buradan tanımlayabilirsiniz. Örneğin spesifik bir arama motoruna göre izin verme kuralı oluşturmak istiyorsanız bot ismini girebilirsiniz. (Google için "googlebot")

*: Bu alana yıldız karakterini girmeniz tüm botları hedef aldığınızı gösterir.

Allow: İzin ver anlamına gelen bu komut ile sayfaların ve klasör dizinlerin taranmasına izin verebilirsiniz.

Disallow: Web sitenizin belirli bölümlerinin taranmasını bu komut ile engelleyebilirsiniz.

Sitemap: Tam URL olacak şekilde site haritanızı (genellikle .xml ve .xml.gz uzantılı) belirtebilirsiniz. Birden fazla site haritası girişi yapabilirsiniz.

#: Kişisel yorumlar, bunlar botlar tarafından göz ardı edilir. Bu yüzden burayı rahatlıkla ufak notlar almak için kullanabilirsiniz.

Google 2 tür joker karakterini destekler:

* joker karakterleri: Karakter dizilerini, değişkenleri engeller. Örneğin bir filtreyi veya parametreyi engellemek istiyorsanız kullanışlıdır.

$ joker karakterleri: Bir url'nin sonunu belirtir. Örneğin .pdf gibi farklı dosya türlerini engellemek için kullanışlıdır.

Robots.txt'yi optimize etme

SEO için robots.txt dosyanızı en iyi şekilde kullanmak istiyorsanız, (aşağıda listelenen) yönergelere uyabilirsiniz.

  •     Her satıra bir yönerge yerleştirin (birbirinin yanına ve iç içe değil)
  •     "robots.txt" dosya adı küçük olmalıdır.
  •     Çeşitli arama motorlarının (Google dahil) küçük ve büyük harfler arasında ayrım yaptığını unutmayın.
  •     Robots.txt dosyanızın 500 kb'den büyük olmadığından emin olun
  •     Maksimum robots.txt satır sayısı yoktur (ancak, büyük bir robots.txt dosyası hataya açıktır).
  •     Bir alt alan adınız varsa (örneğin: seo.bdp.org.tr), bu alt alan adı için ayrı bir robots.txt dosyası oluşturun.
  •     Robots.txt dosyanızı her zaman web sitenizin kökünden sonra yerleştirin. Örneğin: www.bdp.org.tr/robots.txt şeklinde. Ama www.bdp.org.tr/seo/robots.txt adresinde değil.
  •     1 Eylül 2019'dan beri Google artık robots.txt dosyanızdaki şu öğelere bakmıyor: crawl delay, no index, no follow.

".css ve .js dosyaları robots.txt dosyanızda engellendi."

Google botunun .css ve .js dosyalarınızı okuyabilmesi önemlidir. Google'a web sitenizin tam bir resmini vermek için, bu dosyaları kullanılabilir hale getirmeniz önemlidir. Bunu yapmazsanız, işleme sürecinde Google web sitenizin tam bir resmini elde edemez. (cache görüntülerken bu yüzden tasarım bozuk çıkabilir!)

User-agent: *
Allow: /*.css$
Allow: /*.js$

Yukarıdaki komutları kullanabilirsiniz. WordPress için bu dosya otomatik olarak oluşturulmaktadır!