robots.txt oluşturucu nedir?
robots.txt oluşturucu, tarayıcı botlarına sitenizin hangi bölümlerini tarayabileceklerini söyleyen düz metin dosyasını oluşturmanıza yardımcı olur. User-agent gruplarını, allow/disallow kurallarını, sitemap bağlantılarını ve isteğe bağlı yönergeleri bir araya getirerek site kökünde yayımlamaya hazır bir robots.txt dosyası üretir.
Neleri yapılandırabilirsiniz?
Bu araçla farklı tarayıcılar için ayrı kural grupları oluşturabilir, yaygın hazır ayarları uygulayabilir, bir veya daha fazla sitemap URL’si ekleyebilir ve hedef tarayıcılar destekliyorsa Host veya Crawl-delay değerleri tanımlayabilirsiniz. Bu, tüm botlar için genel kurallar ve /admin/ gibi yollar için daha sıkı kurallar istediğiniz durumlarda kullanışlıdır.
Dosyayı nasıl yayımlamalısınız?
Üretilen çıktıyı gözden geçirin, robots.txt adıyla kaydedin ve alan adınızın en üst düzeyine yükleyin; örneğin https://example.com/robots.txt. Yayımladıktan sonra dosyayı Search Console veya tarayıcı test araçlarıyla kontrol edin ve yol ile sitemap URL’lerinin canlı site yapınızla eşleştiğini doğrulayın.
Sınırlar nelerdir?
robots.txt bir tarama talimatıdır, erişim kontrol sistemi değildir. Kurallara uyan tarayıcıları yönlendirebilir, ancak özel içeriği korumaz ve doğrudan istekleri engellemez. Bu nedenle hassas sayfalar yine de kimlik doğrulama veya sunucu tarafı yetkilendirme ile korunmalıdır.