Apa itu generator robots.txt?
Generator robots.txt membantu Anda membuat berkas teks sederhana yang memberi tahu perayap bagian mana dari situs Anda yang boleh dirayapi. Alat ini menggabungkan grup User-agent, aturan allow/disallow, tautan Sitemap, dan arahan opsional ke dalam berkas robots.txt yang siap dipublikasikan di root situs.
Apa yang bisa Anda atur?
Dengan alat ini, Anda dapat membuat grup aturan terpisah untuk perayap yang berbeda, menerapkan preset umum, menambahkan satu atau beberapa URL Sitemap, dan mengatur Host atau Crawl-delay bila perayap tujuan mendukungnya. Ini berguna saat Anda ingin aturan umum untuk semua bot dan aturan yang lebih ketat untuk jalur seperti /admin/ atau area lain yang nilainya lebih rendah.
Bagaimana cara memublikasikan berkasnya?
Tinjau hasil yang dibuat, simpan sebagai robots.txt, lalu unggah ke tingkat teratas domain Anda, misalnya https://example.com/robots.txt. Setelah dipublikasikan, uji berkas tersebut dengan Search Console atau alat perayap dan pastikan jalur serta URL Sitemap sesuai dengan struktur situs Anda yang aktif.
Apa keterbatasannya?
robots.txt adalah instruksi perayapan, bukan sistem kontrol akses. Berkas ini dapat memandu perayap yang patuh, tetapi tidak melindungi konten pribadi atau memblokir permintaan langsung. Karena itu, halaman sensitif tetap harus dilindungi dengan autentikasi atau otorisasi di sisi server.