Bir web sitesi sahibi veya geliştirici olarak, arama motoru botlarının sitenizde nasıl dolaştığını hiç merak ettiniz mi? İşte tam bu noktada robots.txt dosyası devreye giriyor. Bu küçük ama güçlü metin dosyası, Google, Bing ve diğer arama motorlarına hangi sayfaları taramaları veya taramaktan kaçınmaları gerektiğini söyleyen bir nevi trafik polisi gibidir. Bugün bu önemli teknik SEO aracını derinlemesine inceleyeceğiz.

1. Robots.txt Dosyasının Amacı

Robots.txt, web sitenizin kök dizininde bulunan basit bir metin dosyasıdır. Örneğin, siteniz “ornek.com” ise, robots.txt dosyanız “ornek.com/robots.txt” adresinde bulunur. Bu dosyanın temel amacı, arama motoru botlarına (crawlerlar) sitenizin hangi bölümlerine erişebileceklerini ve hangilerine erişemeyeceklerini bildirmektir.

Peki neden böyle bir dosyaya ihtiyaç duyarız? Düşünün ki bir e-ticaret siteniz var ve admin paneli, sipariş sayfaları veya kullanıcı hesapları gibi bölümlerin arama sonuçlarında görünmesini istemiyorsunuz. Ya da belki sitenizin bazı bölümleri henüz yapım aşamasında ve hazır olmadan indekslenmelerini önlemek istiyorsunuz. İşte robots.txt tam da bu tür durumlar için kullanılır.

Ancak şunu belirtmek önemli: Robots.txt bir güvenlik aracı değildir! Bu dosya sadece “iyi niyetli” botlara talimatlar verir. Kötü niyetli botlar veya hackerlar bu talimatları görmezden gelebilir. Bu nedenle hassas bilgileri korumak için asla robots.txt’e güvenmeyin.

2. Temel Syntax ve Kurallar

Robots.txt dosyası oldukça basit bir yapıya sahiptir, ancak kuralların doğru yazılması çok önemlidir. Küçük bir yazım hatası bile tüm web sitenizin indekslenmesini engelleyebilir!

Temel robots.txt sözdizimi şu şekildedir:

User-agent: [bot adı]
Disallow: [erişimi engellenecek dizin veya sayfa]
Allow: [erişime izin verilecek dizin veya sayfa]

Her kural satırı, bir direktif ve bir değerden oluşur. Direktifler (User-agent, Disallow, Allow vb.) ve değerler iki nokta üst üste (:) ile ayrılır.

Örnek bir robots.txt dosyası şöyle görünebilir:

User-agent: *
Disallow: /admin/
Disallow: /ozel-icerik/
Allow: /ozel-icerik/halka-acik/

Bu örnekte:
– User-agent: * tüm botlara hitap eder
– /admin/ dizinine hiçbir botun erişimine izin verilmez
– /ozel-icerik/ dizinine erişim engellenir
– Ancak /ozel-icerik/halka-acik/ dizinine erişime izin verilir

Robots.txt dosyasında boşluklar önemsizdir, ancak her direktif yeni bir satırda olmalıdır. Ayrıca, dosya UTF-8 kodlaması ile kaydedilmelidir.

3. User-agent Tanımlamaları

User-agent direktifi, robots.txt kurallarının hangi botlara uygulanacağını belirtir. Her bir bot grubu için farklı kurallar tanımlayabilirsiniz.

User-agent: *
Disallow: /admin/

User-agent: Googlebot
Disallow: /ozel-google-icin/

User-agent: Bingbot
Disallow: /ozel-bing-icin/

Bu örnekte:
– İlk kural grubu tüm botlar için geçerlidir
– İkinci grup sadece Google’ın ana botuna özeldir
– Üçüncü grup ise sadece Bing’in botuna yöneliktir

Bazı yaygın user-agent değerleri şunlardır:

• *: Tüm botlar
• Googlebot: Google’ın ana web tarayıcısı
• Googlebot-Image: Google’ın görsel tarayıcısı
• Bingbot: Bing’in web tarayıcısı
• Yandexbot: Yandex’in web tarayıcısı

Projelerimizde genellikle önce tüm botlar için genel kurallar tanımlar, ardından özel botlar için spesifik kurallar ekleriz. Bu yaklaşım, farklı arama motorlarına özel davranış sergilememizi sağlar.

4. Allow ve Disallow Kullanımı

Robots.txt dosyasının en temel iki direktifi Allow ve Disallow’dur. Bu direktifler, botların hangi URL’lere erişebileceğini veya erişemeyeceğini belirler.

Disallow Direktifi

Disallow, botların erişimini engellediğiniz dizin veya sayfaları belirtir:

User-agent: *
Disallow: /admin/
Disallow: /giris.php
Disallow: /ozel-dosyalar/

Özel karakterler kullanarak daha karmaşık kurallar da oluşturabilirsiniz:

• Disallow: / – Tüm siteyi engeller
• Disallow: veya Disallow: (boş değer) – Hiçbir şeyi engellemez, tüm siteye erişime izin verir
• Disallow: /*.php – Tüm PHP dosyalarını engeller
• Disallow: /*? – Soru işareti içeren tüm URL’leri engeller (çoğunlukla parametre içeren URL’ler)

Allow Direktifi

Allow direktifi, Disallow ile engellenen bir dizin içindeki belirli alt dizin veya dosyalara erişime izin vermek için kullanılır:

User-agent: *
Disallow: /icerik/
Allow: /icerik/halka-acik/

Bu örnekte /icerik/ dizini genel olarak engellenirken, /icerik/halka-acik/ alt dizinine erişime izin verilir.

Daha karmaşık bir örnek:

User-agent: *
Disallow: /
Allow: /$
Allow: /kategori/
Allow: /blog/

Bu örnek, ana sayfa (/$), kategori sayfaları ve blog sayfaları dışındaki tüm içeriği engeller.

Kuralların öncelik sıralaması önemlidir. Genellikle, en spesifik kural (daha uzun yol) daha genel kuralları geçersiz kılar. Teknik SEO çalışmalarında bu hiyerarşiyi doğru anlamak, site yapısının doğru şekilde taranmasını sağlar.

5. Sitemap Bildirimi

Robots.txt dosyası, arama motorlarına sitemap dosyanızın yerini bildirmek için de kullanılabilir. Sitemap direktifi şöyle görünür:

User-agent: *
Disallow: /admin/
Sitemap: https://www.ornek.com/sitemap.xml

Birden fazla sitemap dosyanız varsa, hepsini ayrı satırlarda belirtebilirsiniz:

Sitemap: https://www.ornek.com/sitemap-urunler.xml
Sitemap: https://www.ornek.com/sitemap-blog.xml
Sitemap: https://www.ornek.com/sitemap-kategoriler.xml

Sitemap direktifi, herhangi bir User-agent bloğunun içinde veya dışında olabilir. Genellikle dosyanın en altına yerleştirilir.

XML sitemap dosyalarınız, arama motoru botlarının sitenizi daha verimli bir şekilde taramasına yardımcı olur. Özellikle büyük siteler için sitemap kullanmak, indeksleme sürecini hızlandırabilir ve önemli sayfaların gözden kaçma riskini azaltır.

6. Crawl-delay Direktifi

Bazı sunucularda, çok sayıda bot isteği sunucu kaynaklarını tüketebilir ve performans sorunlarına yol açabilir. Crawl-delay direktifi, botların sayfalarınızı taramak için ne kadar beklemeleri gerektiğini belirtir:

User-agent: *
Crawl-delay: 10

Bu örnekte, botların her sayfa taraması arasında 10 saniye beklemesi istenir. Bu, sunucu yükünü azaltmaya yardımcı olabilir.

Ancak, önemli bir not: Google’ın ana botları (Googlebot) Crawl-delay direktifini doğrudan desteklemez. Google için crawl hızını kontrol etmek istiyorsanız, Google Search Console üzerinden “Tarama hızı” ayarlarını kullanmanız gerekir.

Diğer arama motorları genellikle Crawl-delay direktifini destekler:

User-agent: Bingbot
Crawl-delay: 5

User-agent: Yandexbot
Crawl-delay: 7

Crawl-delay değeri, crawl budget yönetimi açısından önemlidir. Çok yüksek bir değer, sitenizin daha yavaş indekslenmesine neden olabilir. Çok düşük bir değer ise sunucunuza aşırı yük bindirebilir. Sitenizin büyüklüğüne ve sunucu kapasitesine göre uygun bir değer belirlemelisiniz.

7. Yaygın Robots.txt Hataları

Robots.txt dosyası basit görünse de, yapılan hatalar ciddi SEO sorunlarına yol açabilir. İşte en sık karşılaştığımız hatalar:

1. Tüm Siteyi Yanlışlıkla Engelleme

User-agent: *
Disallow: /

Bu, tüm sitenizi arama motorlarından gizler! Geliştirme aşamasında kullanılabilir, ancak canlı sitede genellikle istenmeyen bir durumdur.

2. Yanlış Sözdizimi

User agent: Googlebot  # Hatalı (boşluk var)
disallow: /admin/      # Hatalı (küçük harf)

Doğrusu:

User-agent: Googlebot
Disallow: /admin/

Direktifler ve değerler arasında boşluk değil, iki nokta üst üste olmalıdır.

3. URL Adreslerini Yanlış Yazma

User-agent: *
Disallow: admin/       # Hatalı (başında / yok)

Doğrusu:

User-agent: *
Disallow: /admin/

URL yolları her zaman kök dizinden başlar, bu nedenle başlarında / olmalıdır.

4. Çok Karmaşık Kurallar

User-agent: *
Disallow: /*?*
Allow: /*?id=*
Disallow: /*?id=*&*

Karmaşık kurallar hatalara yol açabilir. Mümkün olduğunca basit tutmaya çalışın.

5. Joker Karakterleri Yanlış Kullanma

User-agent: *
Disallow: /*.pdf*      # Hatalı (fazladan *)

Doğrusu:

User-agent: *
Disallow: /*.pdf

6. Önemli Sayfaları Yanlışlıkla Engelleme

User-agent: *
Disallow: /blog/

Bu, tüm blog içeriğinizi arama motorlarından gizler, muhtemelen istemediğiniz bir durumdur.

7. Robots.txt Dosyasını Yanlış Yere Koyma

Robots.txt dosyası her zaman kök dizinde olmalıdır (örn. www.ornek.com/robots.txt). Alt dizinlere (örn. www.ornek.com/blog/robots.txt) yerleştirilen dosyalar dikkate alınmaz.

Yıllar içinde birçok projede bu hataları düzeltmek için çalıştım. Özellikle büyük e-ticaret sitelerinde, yanlış robots.txt ayarları nedeniyle önemli ürün sayfalarının indekslenmediği durumlarla karşılaştım. Bu tür sorunlar, organik trafikte ciddi kayıplara yol açabilir.

8. Test Etme ve Doğrulama

Robots.txt dosyanızı uygulamadan önce test etmek çok önemlidir. İşte kullanabileceğiniz bazı yöntemler:

Google Search Console Robots.txt Test Aracı

Google Search Console içindeki “Robots.txt Test Aracı”, robots.txt dosyanızı test etmenin en güvenilir yoludur. Bu araç:

1. Robots.txt dosyanızın sözdizimini kontrol eder
2. Belirli URL’lerin engellenip engellenmediğini test etmenizi sağlar
3. Hataları ve uyarıları gösterir

Diğer Test Araçları

• Screaming Frog SEO Spider: Bu araç, robots.txt dosyanızı analiz edebilir ve hangi URL’lerin engellendiğini gösterebilir.
• Robots.txt Validator: Çeşitli çevrimiçi araçlar, robots.txt dosyanızın geçerliliğini kontrol edebilir.

Manuel Test

Robots.txt dosyanızı manuel olarak test etmek için şu adımları izleyebilirsiniz:

1. Dosyayı oluşturun ve web sunucunuzun kök dizinine yükleyin
2. Tarayıcınızda doğrudan robots.txt URL’sini ziyaret edin (örn. www.ornek.com/robots.txt)
3. Dosyanın doğru görüntülendiğinden emin olun
4. Engellemek istediğiniz URL’lerin gerçekten engellendiğini kontrol edin

Geçmişte bir müşterimiz için robots.txt dosyasını güncelledikten sonra, ana sayfa yanlışlıkla engellenmişti. Düzenli testler sayesinde sorunu hemen fark edip çözdük. Bu durum, değişikliklerden sonra her zaman test yapmanın önemini gösteriyor.

Robots.txt İçin Pratik Örnekler

E-ticaret Sitesi İçin Robots.txt

User-agent: *
Disallow: /admin/
Disallow: /sepet/
Disallow: /odeme/
Disallow: /hesabim/
Disallow: /arama?*
Allow: /urunler/
Allow: /kategoriler/

Sitemap: https://www.ornek-eticaret.com/sitemap.xml

Bu örnekte, ödeme sayfaları ve kullanıcı hesapları gibi özel alanlar engellenirken, ürün ve kategori sayfalarına erişime izin verilir.

Blog Sitesi İçin Robots.txt

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /etiket/
Allow: /wp-content/uploads/
Allow: /wp-content/themes/

User-agent: Googlebot-Image
Allow: /

Sitemap: https://www.ornek-blog.com/sitemap_index.xml

WordPress tabanlı bir blog için, admin paneli ve eklentiler engellenirken, içerik ve görsellere erişime izin verilir.

Kurumsal Site İçin Robots.txt

User-agent: *
Disallow: /intranet/
Disallow: /personel/
Disallow: /gecici-sayfalar/
Allow: /hakkimizda/
Allow: /iletisim/
Allow: /hizmetler/

Sitemap: https://www.ornek-kurumsal.com/sitemap.xml

Kurumsal sitede, iç kullanım için olan alanlar engellenirken, hizmetler ve kurumsal bilgiler gibi alanlara erişime izin verilir.

Robots.txt ve SEO İlişkisi

Robots.txt dosyası, SEO stratejinizin önemli bir parçasıdır. Doğru yapılandırıldığında, arama motoru botlarının zamanını ve kaynaklarını (crawl budget) daha verimli kullanmasını sağlar.

Robots.txt dosyasının SEO açısından bazı önemli etkileri:

1. Crawl Budget Optimizasyonu: Önemsiz sayfaları engelleyerek, botların önemli içeriğe odaklanmasını sağlar
2. Duplicate Content Yönetimi: Benzer içeriğe sahip sayfaları engelleyerek, içerik çoğaltma sorunlarını azaltır
3. Kaynak Verimliliği: Gereksiz dosyaların (CSS, JS, resimler) taranmasını önleyerek sunucu yükünü azaltır
4. İndeksleme Kontrolü: Henüz hazır olmayan sayfaların erken indekslenmesini önler

Ancak, robots.txt’i SEO amaçlı kullanırken dikkatli olmalısınız. Önemli sayfaları yanlışlıkla engellemek, organik trafiğinizi ciddi şekilde etkileyebilir.

Robots.txt Güvenlik Hususları

Daha önce de belirttiğimiz gibi, robots.txt bir güvenlik aracı değildir. Hassas bilgileri korumak için asla bu dosyaya güvenmemelisiniz. İşte bazı güvenlik hususları:

1. Gizli Dizinleri Listelemeyin: Robots.txt dosyasında gizli dizinleri belirtmek, bu dizinlerin varlığını herkese açık hale getirir
2. Parola Koruması Kullanın: Hassas içeriği korumak için robots.txt yerine HTTP kimlik doğrulama veya IP kısıtlamaları kullanın
3. Hassas Dosyaları Farklı Şekilde Koruyun: Önemli dosyaları robots.txt ile değil, .htaccess veya web sunucusu yapılandırması ile koruyun

Örnek olarak, bir müşterimizin robots.txt dosyasında şöyle bir satır vardı:

Disallow: /gizli-yonetim-paneli/

Bu, kötü niyetli kişilere yönetim panelinin yerini açıkça gösteriyordu. Bunu düzelterek, paneli daha güvenli bir konuma taşıdık ve uygun kimlik doğrulama mekanizmaları ekledik.

Robots.txt ve Diğer Arama Motoru Direktifleri

Robots.txt, arama motorlarını yönlendirmenin tek yolu değildir. Diğer yöntemlerle birlikte kullanıldığında daha etkili olur:

1. Meta Robots Etiketleri: Sayfa düzeyinde kontrol sağlar

   <meta name="robots" content="noindex, nofollow">
   

2. X-Robots-Tag HTTP Başlıkları: HTML olmayan dosyalar için indeksleme kontrolü sağlar

   X-Robots-Tag: noindex
   

3. Canonical Etiketleri: Duplicate content sorunlarını çözmek için kullanılır

   <link rel="canonical" href="https://www.ornek.com/orijinal-sayfa/">
   

4. Hreflang Etiketleri: Çok dilli siteler için sayfa versiyonlarını belirtir

   <link rel="alternate" hreflang="tr" href="https://www.ornek.com/tr/">
   

Bu direktiflerin her biri, robots.txt ile birlikte kullanıldığında, arama motorlarına sitenizle ilgili daha net bilgiler sağlar.

Sonuç

Robots.txt dosyası, basit yapısına rağmen web sitenizin arama motorlarında nasıl görüneceği üzerinde önemli bir etkiye sahiptir. Doğru yapılandırıldığında, arama motoru botlarını verimli bir şekilde yönlendirerek, önemli içeriğinizin indekslenmesini ve önemsiz içeriğin göz ardı edilmesini sağlar.

Bu rehberde, robots.txt dosyasının temel bileşenlerini, yaygın hataları ve test yöntemlerini inceledik. Unutmayın ki her site benzersizdir ve robots.txt dosyanız da sitenizin özel ihtiyaçlarına göre şekillendirilmelidir.

Robots.txt dosyanızı düzenli olarak gözden geçirin ve test edin. Sitenizde yapılan değişiklikler, yeni eklenen bölümler veya değişen içerik stratejileri, robots.txt dosyanızın güncellenmesini gerektirebilir.

Son olarak, robots.txt’in sadece teknik SEO stratejinizin bir parçası olduğunu unutmayın. Kapsamlı bir SEO yaklaşımı için, site yapısı, içerik kalitesi, kullanıcı deneyimi ve bağlantı stratejileri gibi diğer faktörleri de göz önünde bulundurmalısınız.

Sorularınız veya deneyimleriniz varsa, yorumlarda paylaşmaktan çekinmeyin. Robots.txt ile ilgili karşılaştığınız zorluklarda size yardımcı olmaktan memnuniyet duyarız.