AI asistanları sitenizi okuyabiliyor mu? robots.txt ve AI botları

Biri ChatGPT'ye, Gemini'ye ya da Perplexity'ye hangi ürünü almasını ya da hangi firmayı araması gerektiğini sorduğunda, yanıt asistanın sistemlerinin daha önce okuduğu sayfalardan oluşur. Bu sistemler sitenize ulaşamıyorsa, sayfalarınız ne kadar iyi olursa olsun sizin hakkınızda söyleyebilecekleri çok az şey vardır.

Ulaşıp ulaşamayacaklarını belirleyen ilk şey, sitenizin kök dizinindeki küçük bir metin dosyası: robots.txt. Bu yazıda dosyanın ne yaptığına, hangi AI botlarının olduğuna ve neye izin vereceğinize nasıl karar verebileceğinize bakıyoruz.

AI botları artık bot trafiğinin büyük bir parçası

Cloudflare'in 2025 değerlendirmesine göre doğrulanmış bot trafiğinin %40'ı arama motoru botlarından, bunun yaklaşık yarısı kadarı, yani %20'si AI botlarından geldi².

AI botlarının hepsi aynı işi yapmıyor. Cloudflare'in ölçtüğü on iki aylık dönemde AI taramalarının %80'i model eğitimi, %18'i arama ve %2'si kullanıcı istekleri içindi¹. Asıl dikkat edilmesi gereken grup kullanıcı istekleri: bu amaçla yapılan taramalar 2025'te 15 kattan fazla arttı².

Üç tür AI botu

AI botlarını sayfalarınızla ne yaptıklarına göre ayırmak işinizi kolaylaştırır:

• Eğitim botları, asistanların arkasındaki modelleri eğitmek için sayfa toplar.
• Arama botları, bir asistanın sayfaları bulup bağlantı verebilmesi için onları dizine ekler. Örneğin OpenAI'ın OAI-SearchBot'u, web sitelerini ChatGPT'nin arama özelliklerinde göstermek ve onlara bağlantı vermek için kullanılıyor².
• Kullanıcı isteği botları, biri soru sorduğu anda bir sayfayı açar. ChatGPT-User, insanlar ChatGPT'ye soru sorduğunda sayfaları ziyaret ediyor².

Bazı şirketler bu işleri birbirinden ayırıyor, bazıları ayırmıyor: Meta, OpenAI ve Anthropic farklı amaçlar için ayrı botlar çalıştırıyor, Google ve Microsoft ise birleşik tarayıcılara dayanıyor¹. Botların ayrı olduğu durumda eğitime hayır deyip aramaya evet diyebilirsiniz.

robots.txt neyi yapabilir, neyi yapamaz?

robots.txt'nin dayandığı Robots Exclusion Protocol, RFC 9309 ile resmi olarak tanımlandı ve site sahiplerinin botlara sitenin hangi bölümlerine erişebileceklerini bildirmesini sağlıyor². Fikir 1994'e dayanıyor; o zaman site sahiplerinin botların içeriğe nasıl erişeceğini kontrol edebilmesi için önerilmişti⁸.

Bu bir kilit değil, bir rica. Standardın kendisi bu kuralların bir erişim yetkilendirmesi olmadığını açıkça söylüyor⁸. Google da aynı şeyi söylüyor: robots.txt bir botu belirli bir şekilde davranmaya zorlayamaz, kurallara uymak botun kendisine kalmıştır⁷. Cloudflare ise bunu bir güven sistemi olarak tanımlıyor³.

Buradan iki pratik sonuç çıkıyor. robots.txt'nin asıl amacı botların sitenize gönderdiği istek yükünü yönetmek; bir sayfayı Google'ın dışında tutmanın yolu değil⁷. Gizli kalması gereken sayfalar için şifre ya da noindex kullanın.

Google: Arama için tek bot, Gemini için ayrı bir anahtar

Google Arama'da AI, aramanın işleyişine yerleşik; bu yüzden kontrol, robots.txt'deki Googlebot kurallarıdır⁶. Googlebot'u engellerseniz Google Arama'dan tamamen çıkarsınız.

Google'ın diğer bazı sistemlerinde AI eğitimini ve grounding'i sınırlamak için Google, ayrı bir anahtara, Google-Extended'a yönlendiriyor⁶. Google-Extended ile Google'ın sitenizden taradığı içeriğin gelecekteki Gemini modellerinin eğitiminde kullanılıp kullanılmayacağına siz karar veriyorsunuz⁵.

Sitelerin çoğu henüz karar vermedi

Cloudflare'in incelediği en büyük 10.000 alan adının yalnızca yaklaşık %37'sinde bir robots.txt dosyası vardı³. Bu dosyaya sahip 3.816 büyük alan adından 546'sında, yani yaklaşık %14'ünde, özellikle AI botları için yazılmış kurallar bulunuyordu⁴.

2025'te robots.txt dosyalarında en sık tamamen engellenen, yani sitenin tamamına erişimi kapatılan botlar AI botlarıydı². Engellemek geçerli bir tercih. Asıl risk, farkında olmadan engellemek: eğitim botları için yazılmış bir kural ya da bir şablondan kopyalanmış geniş bir kural, sizi AI yanıtlarına taşıyan botları da dışarıda bırakabilir.

Kısa bir kontrol listesi

1. siteniz.com/robots.txt adresini açıp okuyun. Googlebot'u ya da Bingbot'u yanlışlıkla engellemediğinden emin olun.
2. Eğitim ve arama için ayrı ayrı karar verin. İçeriğinizin model eğitiminde kullanılmasını istemiyorsanız eğitim botlarını adıyla engelleyin, arama ve kullanıcı isteği botlarına izin vermeye devam edin.
3. Gizli bir şeyi saklamak için robots.txt'ye güvenmeyin. Şifre ya da noindex kullanın.
4. Sitede yaptığınız her değişiklikten sonra yeniden kontrol edin. Yeni bir tema, eklenti ya da güvenlik duvarı ayarı, kimse fark etmeden botların gördüğünü değiştirebilir.

OLAB Assist'in ücretsiz taraması, robots.txt dosyanızın AI arama botlarını ve asistanların kullanıcı ajanlarını engelleyip engellemediğini, robots.txt izin verse bile güvenlik duvarınızın onları geri çevirip çevirmediğini kontrol eder.