{
  "@context": "https://schema.org",
  "@type": "BlogPosting",
  "headline": "Robots.txt Dosyası: Arama Motorlarını Yönlendirme",
  "description": "Robots.txt Dosyası: Arama Motorlarını Yönlendirme",
  "datePublished": "2025-05-13T00:00:00.000Z",
  "dateModified": "2025-05-13T00:00:00.000Z",
  "url": "https://metehan.ai/blog/tr/robots-txt-rehberi/",
  "category": "guides",
  "tags": [],
  "image": null,
  "wordCount": 1834,
  "readTime": "9 min",
  "articleBody": "Bir web sitesi sahibi veya geliştirici olarak, arama motoru botlarının sitenizde nasıl dolaştığını hiç merak ettiniz mi? İşte tam bu noktada robots.txt dosyası devreye giriyor. Bu küçük ama güçlü metin dosyası, Google, Bing ve diğer arama motorlarına hangi sayfaları taramaları veya taramaktan kaçınmaları gerektiğini söyleyen bir nevi trafik polisi gibidir. Bugün bu önemli teknik SEO aracını derinlemesine inceleyeceğiz.\n\n## 1. Robots.txt Dosyasının Amacı\n\nRobots.txt, web sitenizin kök dizininde bulunan basit bir metin dosyasıdır. Örneğin, siteniz \"ornek.com\" ise, robots.txt dosyanız \"ornek.com/robots.txt\" adresinde bulunur. Bu dosyanın temel amacı, arama motoru botlarına (crawlerlar) sitenizin hangi bölümlerine erişebileceklerini ve hangilerine erişemeyeceklerini bildirmektir.\n\nPeki neden böyle bir dosyaya ihtiyaç duyarız? Düşünün ki bir e-ticaret siteniz var ve admin paneli, sipariş sayfaları veya kullanıcı hesapları gibi bölümlerin arama sonuçlarında görünmesini istemiyorsunuz. Ya da belki sitenizin bazı bölümleri henüz yapım aşamasında ve hazır olmadan indekslenmelerini önlemek istiyorsunuz. İşte robots.txt tam da bu tür durumlar için kullanılır.\n\nAncak şunu belirtmek önemli: Robots.txt bir güvenlik aracı değildir! Bu dosya sadece \"iyi niyetli\" botlara talimatlar verir. Kötü niyetli botlar veya hackerlar bu talimatları görmezden gelebilir. Bu nedenle hassas bilgileri korumak için asla robots.txt'e güvenmeyin.\n\n## 2. Temel Syntax ve Kurallar\n\nRobots.txt dosyası oldukça basit bir yapıya sahiptir, ancak kuralların doğru yazılması çok önemlidir. Küçük bir yazım hatası bile tüm web sitenizin indekslenmesini engelleyebilir!\n\nTemel robots.txt sözdizimi şu şekildedir:\n\n```\nUser-agent: [bot adı]\nDisallow: [erişimi engellenecek dizin veya sayfa]\nAllow: [erişime izin verilecek dizin veya sayfa]\n\n```\n\nHer kural satırı, bir direktif ve bir değerden oluşur. Direktifler (User-agent, Disallow, Allow vb.) ve değerler iki nokta üst üste (:) ile ayrılır.\n\nÖrnek bir robots.txt dosyası şöyle görünebilir:\n\n```\nUser-agent: *\nDisallow: /admin/\nDisallow: /ozel-icerik/\nAllow: /ozel-icerik/halka-acik/\n\n```\n\nBu örnekte:\n- `User-agent: *` tüm botlara hitap eder\n- `/admin/` dizinine hiçbir botun erişimine izin verilmez\n- `/ozel-icerik/` dizinine erişim engellenir\n- Ancak `/ozel-icerik/halka-acik/` dizinine erişime izin verilir\n\nRobots.txt dosyasında boşluklar önemsizdir, ancak her direktif yeni bir satırda olmalıdır. Ayrıca, dosya UTF-8 kodlaması ile kaydedilmelidir.\n\n## 3. User-agent Tanımlamaları\n\nUser-agent direktifi, robots.txt kurallarının hangi botlara uygulanacağını belirtir. Her bir bot grubu için farklı kurallar tanımlayabilirsiniz.\n\n```\nUser-agent: *\nDisallow: /admin/\n\nUser-agent: Googlebot\nDisallow: /ozel-google-icin/\n\nUser-agent: Bingbot\nDisallow: /ozel-bing-icin/\n\n```\n\nBu örnekte:\n- İlk kural grubu tüm botlar için geçerlidir\n- İkinci grup sadece Google'ın ana botuna özeldir\n- Üçüncü grup ise sadece Bing'in botuna yöneliktir\n\nBazı yaygın user-agent değerleri şunlardır:\n\n- `*`: Tüm botlar\n- `Googlebot`: Google'ın ana web tarayıcısı\n- `Googlebot-Image`: Google'ın görsel tarayıcısı\n- `Bingbot`: Bing'in web tarayıcısı\n- `Yandexbot`: Yandex'in web tarayıcısı\n\nProjelerimizde genellikle önce tüm botlar için genel kurallar tanımlar, ardından özel botlar için spesifik kurallar ekleriz. Bu yaklaşım, farklı arama motorlarına özel davranış sergilememizi sağlar.\n\n## 4. Allow ve Disallow Kullanımı\n\nRobots.txt dosyasının en temel iki direktifi Allow ve Disallow'dur. Bu direktifler, botların hangi URL'lere erişebileceğini veya erişemeyeceğini belirler.\n\n### Disallow Direktifi\n\nDisallow, botların erişimini engellediğiniz dizin veya sayfaları belirtir:\n\n```\nUser-agent: *\nDisallow: /admin/\nDisallow: /giris.php\nDisallow: /ozel-dosyalar/\n\n```\n\nÖzel karakterler kullanarak daha karmaşık kurallar da oluşturabilirsiniz:\n\n- `Disallow: /` - Tüm siteyi engeller\n- `Disallow:` veya `Disallow:` (boş değer) - Hiçbir şeyi engellemez, tüm siteye erişime izin verir\n- `Disallow: /*.php` - Tüm PHP dosyalarını engeller\n- `Disallow: /*?` - Soru işareti içeren tüm URL'leri engeller (çoğunlukla parametre içeren URL'ler)\n\n### Allow Direktifi\n\nAllow direktifi, Disallow ile engellenen bir dizin içindeki belirli alt dizin veya dosyalara erişime izin vermek için kullanılır:\n\n```\nUser-agent: *\nDisallow: /icerik/\nAllow: /icerik/halka-acik/\n\n```\n\nBu örnekte `/icerik/` dizini genel olarak engellenirken, `/icerik/halka-acik/` alt dizinine erişime izin verilir.\n\nDaha karmaşık bir örnek:\n\n```\nUser-agent: *\nDisallow: /\nAllow: /$\nAllow: /kategori/\nAllow: /blog/\n\n```\n\nBu örnek, ana sayfa (`/$`), kategori sayfaları ve blog sayfaları dışındaki tüm içeriği engeller.\n\nKuralların öncelik sıralaması önemlidir. Genellikle, en spesifik kural (daha uzun yol) daha genel kuralları geçersiz kılar. [Teknik SEO](/tr/blog/teknik-seo-temelleri) çalışmalarında bu hiyerarşiyi doğru anlamak, site yapısının doğru şekilde taranmasını sağlar.\n\n## 5. Sitemap Bildirimi\n\nRobots.txt dosyası, arama motorlarına sitemap dosyanızın yerini bildirmek için de kullanılabilir. Sitemap direktifi şöyle görünür:\n\n```\nUser-agent: *\nDisallow: /admin/\nSitemap: https://www.ornek.com/sitemap.xml\n\n```\n\nBirden fazla sitemap dosyanız varsa, hepsini ayrı satırlarda belirtebilirsiniz:\n\n```\nSitemap: https://www.ornek.com/sitemap-urunler.xml\nSitemap: https://www.ornek.com/sitemap-blog.xml\nSitemap: https://www.ornek.com/sitemap-kategoriler.xml\n\n```\n\nSitemap direktifi, herhangi bir User-agent bloğunun içinde veya dışında olabilir. Genellikle dosyanın en altına yerleştirilir.\n\n[XML sitemap](/tr/blog/xml-sitemap-olusturma) dosyalarınız, arama motoru botlarının sitenizi daha verimli bir şekilde taramasına yardımcı olur. Özellikle büyük siteler için sitemap kullanmak, indeksleme sürecini hızlandırabilir ve önemli sayfaların gözden kaçma riskini azaltır.\n\n## 6. Crawl-delay Direktifi\n\nBazı sunucularda, çok sayıda bot isteği sunucu kaynaklarını tüketebilir ve performans sorunlarına yol açabilir. Crawl-delay direktifi, botların sayfalarınızı taramak için ne kadar beklemeleri gerektiğini belirtir:\n\n```\nUser-agent: *\nCrawl-delay: 10\n\n```\n\nBu örnekte, botların her sayfa taraması arasında 10 saniye beklemesi istenir. Bu, sunucu yükünü azaltmaya yardımcı olabilir.\n\nAncak, önemli bir not: Google'ın ana botları (Googlebot) Crawl-delay direktifini doğrudan desteklemez. Google için crawl hızını kontrol etmek istiyorsanız, [Google Search Console](/tr/blog/google-search-console-rehberi) üzerinden \"Tarama hızı\" ayarlarını kullanmanız gerekir.\n\nDiğer arama motorları genellikle Crawl-delay direktifini destekler:\n\n```\nUser-agent: Bingbot\nCrawl-delay: 5\n\nUser-agent: Yandexbot\nCrawl-delay: 7\n\n```\n\nCrawl-delay değeri, [crawl budget](/tr/blog/crawl-budget-optimizasyonu) yönetimi açısından önemlidir. Çok yüksek bir değer, sitenizin daha yavaş indekslenmesine neden olabilir. Çok düşük bir değer ise sunucunuza aşırı yük bindirebilir. Sitenizin büyüklüğüne ve sunucu kapasitesine göre uygun bir değer belirlemelisiniz.\n\n## 7. Yaygın Robots.txt Hataları\n\nRobots.txt dosyası basit görünse de, yapılan hatalar ciddi SEO sorunlarına yol açabilir. İşte en sık karşılaştığımız hatalar:\n\n### 1. Tüm Siteyi Yanlışlıkla Engelleme\n\n```\nUser-agent: *\nDisallow: /\n\n```\n\nBu, tüm sitenizi arama motorlarından gizler! Geliştirme aşamasında kullanılabilir, ancak canlı sitede genellikle istenmeyen bir durumdur.\n\n### 2. Yanlış Sözdizimi\n\n```\nUser agent: Googlebot  # Hatalı (boşluk var)\ndisallow: /admin/      # Hatalı (küçük harf)\n\n```\n\nDoğrusu:\n\n```\nUser-agent: Googlebot\nDisallow: /admin/\n\n```\n\nDirektifler ve değerler arasında boşluk değil, iki nokta üst üste olmalıdır.\n\n### 3. URL Adreslerini Yanlış Yazma\n\n```\nUser-agent: *\nDisallow: admin/       # Hatalı (başında / yok)\n\n```\n\nDoğrusu:\n\n```\nUser-agent: *\nDisallow: /admin/\n\n```\n\nURL yolları her zaman kök dizinden başlar, bu nedenle başlarında / olmalıdır.\n\n### 4. Çok Karmaşık Kurallar\n\n```\nUser-agent: *\nDisallow: /*?*\nAllow: /*?id=*\nDisallow: /*?id=*&*\n\n```\n\nKarmaşık kurallar hatalara yol açabilir. Mümkün olduğunca basit tutmaya çalışın.\n\n### 5. Joker Karakterleri Yanlış Kullanma\n\n```\nUser-agent: *\nDisallow: /*.pdf*      # Hatalı (fazladan *)\n\n```\n\nDoğrusu:\n\n```\nUser-agent: *\nDisallow: /*.pdf\n\n```\n\n### 6. Önemli Sayfaları Yanlışlıkla Engelleme\n\n```\nUser-agent: *\nDisallow: /blog/\n\n```\n\nBu, tüm blog içeriğinizi arama motorlarından gizler, muhtemelen istemediğiniz bir durumdur.\n\n### 7. Robots.txt Dosyasını Yanlış Yere Koyma\n\nRobots.txt dosyası her zaman kök dizinde olmalıdır (örn. www.ornek.com/robots.txt). Alt dizinlere (örn. www.ornek.com/blog/robots.txt) yerleştirilen dosyalar dikkate alınmaz.\n\nYıllar içinde birçok projede bu hataları düzeltmek için çalıştım. Özellikle büyük e-ticaret sitelerinde, yanlış robots.txt ayarları nedeniyle önemli ürün sayfalarının indekslenmediği durumlarla karşılaştım. Bu tür sorunlar, organik trafikte ciddi kayıplara yol açabilir.\n\n## 8. Test Etme ve Doğrulama\n\nRobots.txt dosyanızı uygulamadan önce test etmek çok önemlidir. İşte kullanabileceğiniz bazı yöntemler:\n\n### Google Search Console Robots.txt Test Aracı\n\n[Google Search Console](/tr/blog/google-search-console-rehberi) içindeki \"Robots.txt Test Aracı\", robots.txt dosyanızı test etmenin en güvenilir yoludur. Bu araç:\n\n1. Robots.txt dosyanızın sözdizimini kontrol eder\n2. Belirli URL'lerin engellenip engellenmediğini test etmenizi sağlar\n3. Hataları ve uyarıları gösterir\n\n### Diğer Test Araçları\n\n- **Screaming Frog SEO Spider**: Bu araç, robots.txt dosyanızı analiz edebilir ve hangi URL'lerin engellendiğini gösterebilir.\n- **Robots.txt Validator**: Çeşitli çevrimiçi araçlar, robots.txt dosyanızın geçerliliğini kontrol edebilir.\n\n### Manuel Test\n\nRobots.txt dosyanızı manuel olarak test etmek için şu adımları izleyebilirsiniz:\n\n1. Dosyayı oluşturun ve web sunucunuzun kök dizinine yükleyin\n2. Tarayıcınızda doğrudan robots.txt URL'sini ziyaret edin (örn. www.ornek.com/robots.txt)\n3. Dosyanın doğru görüntülendiğinden emin olun\n4. Engellemek istediğiniz URL'lerin gerçekten engellendiğini kontrol edin\n\nGeçmişte bir müşterimiz için robots.txt dosyasını güncelledikten sonra, ana sayfa yanlışlıkla engellenmişti. Düzenli testler sayesinde sorunu hemen fark edip çözdük. Bu durum, değişikliklerden sonra her zaman test yapmanın önemini gösteriyor.\n\n## Robots.txt İçin Pratik Örnekler\n\n### E-ticaret Sitesi İçin Robots.txt\n\n```\nUser-agent: *\nDisallow: /admin/\nDisallow: /sepet/\nDisallow: /odeme/\nDisallow: /hesabim/\nDisallow: /arama?*\nAllow: /urunler/\nAllow: /kategoriler/\n\nSitemap: https://www.ornek-eticaret.com/sitemap.xml\n\n```\n\nBu örnekte, ödeme sayfaları ve kullanıcı hesapları gibi özel alanlar engellenirken, ürün ve kategori sayfalarına erişime izin verilir.\n\n### Blog Sitesi İçin Robots.txt\n\n```\nUser-agent: *\nDisallow: /wp-admin/\nDisallow: /wp-includes/\nDisallow: /wp-content/plugins/\nDisallow: /etiket/\nAllow: /wp-content/uploads/\nAllow: /wp-content/themes/\n\nUser-agent: Googlebot-Image\nAllow: /\n\nSitemap: https://www.ornek-blog.com/sitemap_index.xml\n\n```\n\nWordPress tabanlı bir blog için, admin paneli ve eklentiler engellenirken, içerik ve görsellere erişime izin verilir.\n\n### Kurumsal Site İçin Robots.txt\n\n```\nUser-agent: *\nDisallow: /intranet/\nDisallow: /personel/\nDisallow: /gecici-sayfalar/\nAllow: /hakkimizda/\nAllow: /iletisim/\nAllow: /hizmetler/\n\nSitemap: https://www.ornek-kurumsal.com/sitemap.xml\n\n```\n\nKurumsal sitede, iç kullanım için olan alanlar engellenirken, hizmetler ve kurumsal bilgiler gibi alanlara erişime izin verilir.\n\n## Robots.txt ve SEO İlişkisi\n\nRobots.txt dosyası, SEO stratejinizin önemli bir parçasıdır. Doğru yapılandırıldığında, arama motoru botlarının zamanını ve kaynaklarını (crawl budget) daha verimli kullanmasını sağlar.\n\nRobots.txt dosyasının SEO açısından bazı önemli etkileri:\n\n1. **Crawl Budget Optimizasyonu**: Önemsiz sayfaları engelleyerek, botların önemli içeriğe odaklanmasını sağlar\n2. **Duplicate Content Yönetimi**: Benzer içeriğe sahip sayfaları engelleyerek, içerik çoğaltma sorunlarını azaltır\n3. **Kaynak Verimliliği**: Gereksiz dosyaların (CSS, JS, resimler) taranmasını önleyerek sunucu yükünü azaltır\n4. **İndeksleme Kontrolü**: Henüz hazır olmayan sayfaların erken indekslenmesini önler\n\nAncak, robots.txt'i SEO amaçlı kullanırken dikkatli olmalısınız. Önemli sayfaları yanlışlıkla engellemek, organik trafiğinizi ciddi şekilde etkileyebilir.\n\n## Robots.txt Güvenlik Hususları\n\nDaha önce de belirttiğimiz gibi, robots.txt bir güvenlik aracı değildir. Hassas bilgileri korumak için asla bu dosyaya güvenmemelisiniz. İşte bazı güvenlik hususları:\n\n1. **Gizli Dizinleri Listelemeyin**: Robots.txt dosyasında gizli dizinleri belirtmek, bu dizinlerin varlığını herkese açık hale getirir\n2. **Parola Koruması Kullanın**: Hassas içeriği korumak için robots.txt yerine HTTP kimlik doğrulama veya IP kısıtlamaları kullanın\n3. **Hassas Dosyaları Farklı Şekilde Koruyun**: Önemli dosyaları robots.txt ile değil, .htaccess veya web sunucusu yapılandırması ile koruyun\n\nÖrnek olarak, bir müşterimizin robots.txt dosyasında şöyle bir satır vardı:\n\n```\nDisallow: /gizli-yonetim-paneli/\n\n```\n\nBu, kötü niyetli kişilere yönetim panelinin yerini açıkça gösteriyordu. Bunu düzelterek, paneli daha güvenli bir konuma taşıdık ve uygun kimlik doğrulama mekanizmaları ekledik.\n\n## Robots.txt ve Diğer Arama Motoru Direktifleri\n\nRobots.txt, arama motorlarını yönlendirmenin tek yolu değildir. Diğer yöntemlerle birlikte kullanıldığında daha etkili olur:\n\n1. **Meta Robots Etiketleri**: Sayfa düzeyinde kontrol sağlar ```  ```\n2. **X-Robots-Tag HTTP Başlıkları**: HTML olmayan dosyalar için indeksleme kontrolü sağlar ``` X-Robots-Tag: noindex ```\n3. **Canonical Etiketleri**: Duplicate content sorunlarını çözmek için kullanılır ```  ```\n4. **Hreflang Etiketleri**: Çok dilli siteler için sayfa versiyonlarını belirtir ```  ```\n\nBu direktiflerin her biri, robots.txt ile birlikte kullanıldığında, arama motorlarına sitenizle ilgili daha net bilgiler sağlar.\n\n## Sonuç\n\nRobots.txt dosyası, basit yapısına rağmen web sitenizin arama motorlarında nasıl görüneceği üzerinde önemli bir etkiye sahiptir. Doğru yapılandırıldığında, arama motoru botlarını verimli bir şekilde yönlendirerek, önemli içeriğinizin indekslenmesini ve önemsiz içeriğin göz ardı edilmesini sağlar.\n\nBu rehberde, robots.txt dosyasının temel bileşenlerini, yaygın hataları ve test yöntemlerini inceledik. Unutmayın ki her site benzersizdir ve robots.txt dosyanız da sitenizin özel ihtiyaçlarına göre şekillendirilmelidir.\n\nRobots.txt dosyanızı düzenli olarak gözden geçirin ve test edin. Sitenizde yapılan değişiklikler, yeni eklenen bölümler veya değişen içerik stratejileri, robots.txt dosyanızın güncellenmesini gerektirebilir.\n\nSon olarak, robots.txt'in sadece teknik SEO stratejinizin bir parçası olduğunu unutmayın. Kapsamlı bir SEO yaklaşımı için, site yapısı, içerik kalitesi, kullanıcı deneyimi ve bağlantı stratejileri gibi diğer faktörleri de göz önünde bulundurmalısınız.\n\nSorularınız veya deneyimleriniz varsa, yorumlarda paylaşmaktan çekinmeyin. Robots.txt ile ilgili karşılaştığınız zorluklarda size yardımcı olmaktan memnuniyet duyarız.",
  "author": {
    "@type": "Person",
    "name": "Metehan Yesilyurt",
    "url": "https://metehan.ai",
    "sameAs": [
      "https://x.com/metehan777",
      "https://www.linkedin.com/in/metehanyesilyurt",
      "https://github.com/metehan777"
    ]
  },
  "publisher": {
    "@type": "Person",
    "name": "Metehan Yesilyurt",
    "url": "https://metehan.ai"
  },
  "alternateFormat": {
    "html": "https://metehan.ai/blog/tr/robots-txt-rehberi/",
    "json": "https://metehan.ai/api/post/tr/robots-txt-rehberi.json",
    "rss": "https://metehan.ai/rss.xml"
  }
}