
Çoğu işletme sitesi için tüm yapay zeka botlarını topluca engellemek yanlış karardır. Eğitim botları (GPTBot, ClaudeBot, Google-Extended) ile arama botları (OAI-SearchBot, Claude-SearchBot, PerplexityBot) ayrı çalışır. Eğitimi kapatıp aramayı açık bırakırsanız içeriğiniz model eğitiminde kullanılmaz, ama yapay zeka yanıtlarında görünmeye devam edersiniz.
Bu yazıda her iki kararın sonucunu, robots.txt'in nerede yetersiz kaldığını ve işletme tipine göre hangi yolu önerdiğimi anlatıyorum. Müşterilerin sizi yapay zekada bulup bulamayacağı doğrudan bu karara bağlı olabilir.
Yapay zeka botları neden ikiye ayrılıyor?
Yapay zeka şirketlerinin tarayıcıları tek bir iş yapmaz. Bir grup botun işi, modelin eğitileceği büyük içerik havuzunu toplamaktır. Diğer grup, kullanıcı bir soru sorduğunda güncel sayfaları bulup yanıta kaynak olarak ekler. Bu iki iş artık ayrı user-agent adlarıyla yürütülüyor.
OpenAI'ın belgelediği dört user-agent'tan GPTBot eğitim tarafında, OAI-SearchBot arama tarafındadır. Anthropic de üç ayrı agent kullanır: ClaudeBot eğitim için, Claude-SearchBot arama için, Claude-User ise kullanıcının isteğiyle sayfa açmak için çalışır. Google tarafında Google-Extended, içeriğin Gemini eğitimine girip girmeyeceğini belirleyen ayrı bir kontroldür.
Bu ayrım işinizi kolaylaştırır, çünkü tek bir "engelle ya da engelleme" kararı yerine iki ayrı karar vermeniz gerekir: "içeriğim model eğitiminde kullanılsın mı?" ve "yapay zeka aramasında kaynak olarak gösterilmek istiyor muyum?"
Hangi botu engellersem ne olur?
Aşağıdaki tablo, kararın sonuçlarını özetler. Kaynaklarda belirtilen davranışları yansıtır; şirketler zamanla bot adlarını ve kapsamlarını değiştirebilir, bu yüzden uygulamadan önce ilgili şirketin güncel dokümanına bakmanızı öneririm.
| Engellenen bot | Etkisi | Etkilemediği şey |
|---|---|---|
| GPTBot | İçeriğiniz OpenAI model eğitimine girmez | ChatGPT arama alıntıları |
| OAI-SearchBot | ChatGPT arama sonuçlarında alıntılanma azalır ya da biter | Model eğitimi tercihi |
| ClaudeBot | Anthropic eğitim veri toplaması durur | Claude-SearchBot ve Claude-User |
| Google-Extended | İçerik Gemini eğitiminde kullanılmaz | Googlebot, arama sıralaması, AI Overviews ve AI Mode |
| PerplexityBot | Perplexity yanıtlarında kaynak olarak yer alma şansı düşer | Diğer şirketlerin botları |
Tabloda dikkat çeken nokta Google'dır. AI Overviews ve AI Mode Googlebot üzerinden çalıştığı için Google-Extended'ı engellemek bu özelliklerdeki görünürlüğünüzü ya da klasik aramadaki sıralamanızı değiştirmez. Google'ın yapay zeka özetlerinin trafiğe etkisini merak ediyorsanız AI Overviews trafiğimi düşürdü mü yazısı ayrı bir çerçeve sunuyor.
Engellemenin artıları neler?
İçeriğinizi model eğitiminden uzak tutmak istemenizin meşru nedenleri vardır. En yaygını, özgün yazıların, analizlerin ve fiyatlandırma mantığının bir modelin eğitim verisine karışmasını istememektir. Yayıncılık, eğitim içeriği satan kurslar, özgün araştırma üreten firmalar ve telif konusunda hassas işletmeler bu gruba girer.
İkinci neden kontrol hissidir. Robots.txt'e açık bir kural yazdığınızda, iyi niyetli tarayıcılar için erişim politikanızı belgelemiş olursunuz. Bu, sonradan "izin vermemiştik" demenin teknik dayanağıdır.
Üçüncü neden sunucu yüküdür. Çok sayıda sayfası olan sitelerde botların yoğun taraması kaynak tüketebilir. Küçük bir kurumsal sitede bu nadiren sorun olur; yük sorunu yaşıyorsanız önce TTFB'nin yüksek olmasının asıl nedenine bakmak daha doğru olur.
Engellemenin eksileri neler?
Asıl risk, yanlış botu kapatıp görünürlüğünüzü sıfırlamaktır. Tüm yapay zeka botlarını tek blokta engellerseniz eğitimle birlikte aramayı da kapatırsınız. Kullanıcılar ChatGPT'ye ya da Perplexity'ye "Ankara'da güvenilir bir diş kliniği" diye sorduğunda siteniz kaynak listesine hiç giremez.
İkinci eksi, kazancın sınırlı olmasıdır. Zaten eğitilmiş bir modelden içeriğinizi geri çekemezsiniz; engel yalnızca bundan sonraki toplamayı etkiler. Üçüncüsü, engelin her zaman uygulanmamasıdır; bunu ilerleyen bölümde anlatıyorum.
Yerel hizmet işletmeleri için ek bir mesele var: müşteri adayı artık karar vermeden önce yapay zekaya soruyor. Bu kanaldan çıkmak, rakibinizin bu alanı tek başına doldurması anlamına gelir. Konunun ayrıntısı için yerel işletmeler yapay zekada nasıl çıkar yazısına bakabilirsiniz.
Robots.txt bu botları gerçekten durdurur mu?
Robots.txt bir istektir, teknik bir kilit değildir. İyi niyetli ve kurallara uyan tarayıcılar dosyayı okur ve yazdığınıza uyar. GPTBot'un robots.txt'e uyduğu OpenAI'ın tablosunda belirtilir. Kötü niyetli ya da kural dışı çalışan tarayıcılar ise dosyayı yok sayabilir.
Bir de kullanıcı tetikli botlar vardır. ChatGPT-User, Perplexity-User ve Google-Agent gibi botlar, bir kullanıcının isteği üzerine sayfanızı açar ve tasarım gereği robots.txt kurallarına bakmaz. Claude-User da bu türdendir. Yani kullanıcı sohbet içinde adresinizi verirse, robots.txt'teki yasak o ziyareti engellemeyebilir.
IP adresi engellemek daha sert bir yol gibi görünür, ancak bunun da bedeli var. Anthropic, IP engelinin botun robots.txt dosyasını okumasını da engelleyeceğini, bu yüzden bir çıkış tercihi olarak sürekli çalışmayabileceğini belirtir. Kesin bir engel gerekiyorsa sunucu ya da güvenlik katmanında kural yazmak gerekir; bu da bakım gerektirir. Aylık teknik işlerin kapsamı için WordPress bakımı iş listesine göz atabilirsiniz.
İşletme tipine göre hangi yolu önermem?
Karar, içeriğin sizin için ne ifade ettiğine bağlıdır. Aşağıdaki kontrol listesi bir başlangıç noktasıdır:
- Hizmet satan yerel işletme (klinik, avukat, nakliyat, güzellik merkezi): Arama botlarını açık bırakın. Eğitim botları konusunda tercih sizin; kapatmak görünürlüğünüzü etkilemez.
- Özgün içerik üreten yayıncı ya da eğitim sitesi: Eğitim botlarını kapatın, arama botlarını açık tutun; böylece alıntı yoluyla trafik alırsınız.
- Ücretli ya da üyelik arkasında içerik satan site: İçeriği zaten oturum arkasında tutun; robots.txt tek başına yeterli koruma değildir.
- E-ticaret sitesi: Ürün sayfalarının yapay zeka aramasında çıkması satış getirebilir. Arama botlarını kapatmak için güçlü bir neden yoksa açık bırakın.
Çoğu işletme sitesinin asıl sorunu fazla görünür olmak değil, yeterince görünür olmamaktır. ChatGPT sizi öneriyor mu diye merak ediyorsanız ChatGPT işletmemi neden önermiyor yazısı, engel koymadan önce bakılacak nedenleri sıralıyor.
Robots.txt'i nasıl düzenlemeliyim?
Mantık basittir: her bot için ayrı bir kullanıcı aracısı satırı yazar, ardından izin ya da yasak verirsiniz. Eğitimi kapatıp aramayı açık bırakmak için GPTBot, ClaudeBot ve Google-Extended için Disallow: / kuralı, OAI-SearchBot, Claude-SearchBot ve PerplexityBot için ise Allow: / kuralı yazılır. Gizli kalması gereken klasörleri ayrıca yasaklamayı unutmayın.
Uygulamadan önce şunlara dikkat edin:
- Mevcut robots.txt dosyanızı yedekleyin; yanlış bir satır tüm siteyi arama motorlarından da kapatabilir.
- Genel User-agent: * bloğunuzun yapay zeka aramasını istemeden yasaklamadığını kontrol edin.
- Değişiklikten sonra dosyayı tarayıcıdan açıp kuralları gözle doğrulayın.
- Bot adları ve kapsamlar değişebildiği için kuralları birkaç ayda bir gözden geçirin.
Engellemek tek başına görünürlük stratejisi değildir. İçerik yapısı, kaynak gösterilebilir cümleler ve doğru bilgi, yapay zeka yanıtlarında yer almanın asıl belirleyicileridir. Bu çerçeveyi GEO rehberinde anlattım. Markanızın şu an modellerde nasıl göründüğünü görmek için markanızın yapay zekadaki görünümü yazısındaki kontrolleri deneyebilirsiniz.
Kararı verdikten sonra neyi takip etmeliyim?
Robots.txt değişikliği bir kez yapılıp unutulacak bir iş değildir. Kuralı yazdıktan sonra sunucu kayıtlarınızda hangi botların siteye geldiğini zaman zaman kontrol edin. Böylece yazdığınız kuralın iyi niyetli botlar tarafından uygulanıp uygulanmadığını görürsünüz.
Ayrıca yapay zeka yanıtlarında markanızın geçip geçmediğini düzenli sorgulayın. Arama botlarını açık bıraktığınız halde hiç anılmıyorsanız sorun robots.txt'te değil, içeriğin kendisindedir; bu durumda önce içeriği güçlendirmek gerekir.
Sık sorulan sorular
Robots.txt yapay zeka botlarını tamamen durdurur mu?
Hayır. Robots.txt teknik bir zorlama değil, erişim politikası bildirimidir. GPTBot gibi kurallara uyan tarayıcılar yazdığınıza uyar. Kural dışı tarayıcılar ve kullanıcı tetikli botlar (ChatGPT-User, Perplexity-User gibi) dosyayı dikkate almayabilir. Kesin engel için sunucu düzeyinde önlem gerekir.
Engellersem yapay zeka yanıtlarında hiç görünmez miyim?
Hangi botu engellediğinize bağlıdır. OAI-SearchBot'u engellerseniz ChatGPT arama alıntılarınız kalkar. GPTBot'u engellerseniz kalkmaz, çünkü o yalnızca eğitim içindir. Eğitimi kapatıp arama botlarını açık bırakmak mümkündür ve çoğu işletme için mantıklı olan yoldur.
Google-Extended'ı engellersem sıralamam düşer mi?
Hayır. Googlebot siteyi arama sıralaması için okur; Google-Extended ise içeriğin Gemini eğitiminde kullanılıp kullanılmayacağını belirleyen ayrı bir kontroldür. AI Overviews ve AI Mode da Googlebot üzerinden çalıştığı için bu kuraldan etkilenmez.
IP adresi engellemek robots.txt'ten daha etkili mi?
Her zaman değil. Anthropic, IP engelinin botun robots.txt dosyasını okumasını da engelleyeceğini, bu yüzden çıkış tercihini sürekli çalışır hale getirmeyebileceğini belirtir. IP listeleri de değişir. Bu yöntemi yalnızca bakımını yapabilecekseniz ve bilinçli bir kararsa kullanın.
Eğitim botlarını engellemek SEO'mu etkiler mi?
Klasik arama sıralamanız Googlebot ve diğer arama motoru botlarının erişimine bağlıdır; GPTBot, ClaudeBot ve Google-Extended bu botlar arasında değildir. Dolayısıyla yalnızca eğitim botlarını kapatmak sıralamanızı doğrudan değiştirmez. SEO ve GEO bütçesini nasıl dağıtacağınız ayrı bir konudur: GEO mu, SEO mu yazısı bu soruyu ele alıyor.
Robots.txt'inizin şu an neyi engellediğinden ya da yapay zeka botlarına nasıl göründüğünüzden emin değilseniz, ücretsiz site analizi talep edebilir ya da WhatsApp'tan yazabilirsiniz. Dosyanıza ve sektörünüze bakıp hangi botların açık, hangilerinin kapalı kalması gerektiğini birlikte netleştirebiliriz.

