robots.txt, sitenin kök dizinindeki bir metin dosyasıdır ve arama motoru ile yapay zeka botlarına sitenizin hangi bölümlerini tarayabileceklerini bildirir.
Neden önemli?
Taranmasını istemediğiniz bölümleri (yönetim paneli, form uç noktaları gibi) botlara bildirmenizi ve hangi yapay zeka botlarına izin verip hangilerini engelleyeceğinizi belirlemenizi sağlar. Uyumlu botlar kurallara uyar; ancak bu bir güvenlik önlemi değildir.
Nasıl uygulanır?
- Dosyayı alanadi.com/robots.txt adresinde yayımlayın.
- User-agent ile bot adını, Allow ve Disallow ile izinleri yazın.
- Sitemap satırıyla site haritanızın adresini ekleyin.
Sık yapılan hata
Bir sayfayı arama sonuçlarından çıkarmak için robots.txt kullanmak. Engellenen bir adres, başka sitelerden bağlantı alıyorsa yine de listelenebilir; bunun için noindex kullanılır. Bir diğer kritik hata, yanlışlıkla tüm siteyi Disallow: / ile kapatmaktır.