robots.txt Nedir?

robots.txt, sitenin kök dizinindeki bir metin dosyasıdır ve arama motoru ile yapay zeka botlarına sitenizin hangi bölümlerini tarayabileceklerini bildirir.

Sözlük · Teknik SEO

robots.txt Nedir? Kısa cevap

robots.txt, sitenin kök dizinindeki bir metin dosyasıdır ve arama motoru ile yapay zeka botlarına sitenizin hangi bölümlerini tarayabileceklerini bildirir.

Neden önemli?

Taranmasını istemediğiniz bölümleri (yönetim paneli, form uç noktaları gibi) botlara bildirmenizi ve hangi yapay zeka botlarına izin verip hangilerini engelleyeceğinizi belirlemenizi sağlar. Uyumlu botlar kurallara uyar; ancak bu bir güvenlik önlemi değildir.

Nasıl uygulanır?

  • Dosyayı alanadi.com/robots.txt adresinde yayımlayın.
  • User-agent ile bot adını, Allow ve Disallow ile izinleri yazın.
  • Sitemap satırıyla site haritanızın adresini ekleyin.

Örnek

Bir sitenin yönetim paneli ve form uç noktaları Disallow ile taramaya kapatılır, arama ve alıntı yapan yapay zeka botlarına ise izin verilir. Dosyanın sonuna Sitemap satırı eklenir. Yayından sonra dosya adresi tarayıcıda açılıp kuralların beklendiği gibi olduğu kontrol edilir.

Sık yapılan hata

Bir sayfayı arama sonuçlarından çıkarmak için robots.txt kullanmak. Engellenen bir adres, başka sitelerden bağlantı alıyorsa yine de listelenebilir; bunun için noindex kullanılır. Bir diğer kritik hata, yanlışlıkla tüm siteyi Disallow: / ile kapatmaktır.

Kaynaklar

Sık sorulan sorular

robots.txt hakkında sorulanlar

robots.txt bir sayfayı Google'dan kaldırır mı?

Hayır. Taramayı engeller ama sayfa başka sitelerden bağlantı alıyorsa yine de listelenebilir. Kaldırmak için noindex kullanılır.

robots.txt güvenlik önlemi midir?

Hayır. Uyumlu botlar kurallara uyar ama dosya herkese açıktır ve gizli içeriği korumaz. Gizli içerik için giriş koruması kullanın.

Yapay zeka botlarını engellemeli miyim?

Arama ve alıntı botlarına izin vermek görünürlüğe yardım eder. Eğitim botlarını engellemek ise iş modelinize bağlı ayrı bir tercihtir.

Son güncelleme:

Projenizi konuşalım

Ne yapmak istediğinizi kısaca yazın, size uygun yol haritasını birlikte çıkaralım.