Yapay zeka şirketleri sitenizi farklı amaçlarla tarayan botlar kullanır: bazıları arama cevaplarında sizi göstermek, bazıları model eğitimi için. robots.txt ile bu botlara ayrı ayrı izin verebilir ya da engel koyabilirsiniz. Yukarıdaki araçla dosyanızı oluşturabilir veya mevcut dosyanızı kontrol edebilirsiniz.
Hangi botlar var?
Yapay zeka botlarını iki gruba ayırmak yararlıdır:
- Arama ve alıntı botları (ör. OAI-SearchBot, Claude-SearchBot, PerplexityBot): yapay zeka arama sonuçlarında sitenizin görünmesini sağlar. Engellerseniz bu sonuçlarda daha az yer alabilirsiniz.
- Kullanıcı isteğiyle çalışan botlar (ör. ChatGPT-User, Claude-User, Perplexity-User): biri sizin sayfanızı açmasını istediğinde çalışır.
- Eğitim ve veri toplama botları (ör. GPTBot, ClaudeBot, CCBot, Google-Extended): içeriğin modellerin eğitiminde kullanılmasıyla ilgilidir. Engellemek, içeriğinizin eğitimde kullanılmasını sınırlamayı hedefler.
Google-Extended nedir?
Google-Extended, Google'ın Gemini gibi yapay zeka ürünlerinde içeriğinizin kullanılmasını kontrol eden bir belirteçtir. Bunu engellemek Google Arama'daki sıralamanızı ya da dizine eklenmenizi etkilemez.
İzin mi, engel mi?
Doğru karar sitenizin hedefine bağlıdır. Yapay zeka aramalarında görünür olmak istiyorsanız arama botlarına izin vermeniz genellikle mantıklıdır. İçeriğinizin eğitim verisi olarak kullanılmasını istemiyorsanız eğitim botlarını ayrıca engelleyebilirsiniz. Bu iki karar birbirinden bağımsızdır.
robots.txt'in sınırları
- robots.txt bir istektir, güvenlik önlemi değildir; yalnızca kurallara uyan botlar için çalışır.
- Kullanıcı isteğiyle çalışan botların robots.txt'e uyumu sağlayıcıya göre değişebilir.
- Bota özel bir kural yazdığınızda o bot için genel (*) kural geçerli olmaz; bu yüzden engellenecek yollar her bota tekrarlanmalıdır. Araç bunu sizin yerinize yapar.
- Güvenlik duvarı ya da CDN'deki bot engelleme ayarları robots.txt'den bağımsız olarak botların erişimini kesebilir.
Daha fazla bilgi
Sitenizi yapay zekaya tanıtmak için llms.txt oluşturucu, sayfa bilgilerini makine okunur yapmak için schema üretici araçlarına bakabilirsiniz.