Penjana robots.txt

Jana fail robots.txt dengan peraturan user-agent, laluan allow/disallow, dan pautan sitemap.

Pratetap
Mulakan dengan dasar biasa. Menggunakan preset akan menggantikan kumpulan user-agent semasa.
Tetapan laman
Tambah URL sitemap dan arahan Host/Crawl-delay pilihan untuk crawler yang menyokongnya.
Tetapan lanjutan
Host (tidak standard)
Kumpulan user-agent
Tentukan crawler yang disasarkan oleh setiap kumpulan dan path yang boleh dirayapi.
Kumpulan 1

Kosong akan guna * secara lalai.

Tiada peraturan bermaksud benarkan semua.

Output
Semak robots.txt yang dijana, kemudian salin atau muat turun.

Apakah penjana robots.txt?

Penjana robots.txt membantu anda membuat fail teks ringkas yang memberitahu perayap bahagian mana di laman anda yang boleh dirayapi. Ia menggabungkan kumpulan User-agent, peraturan allow/disallow, pautan Sitemap dan arahan pilihan ke dalam fail robots.txt yang sedia diterbitkan pada akar laman.

Apa yang boleh anda tetapkan?

Dengan alat ini, anda boleh membuat kumpulan peraturan berasingan untuk perayap yang berbeza, menggunakan pratetap biasa, menambah satu atau lebih URL Sitemap, dan menetapkan Host atau Crawl-delay apabila perayap sasaran menyokongnya. Ini berguna apabila anda mahukan peraturan umum untuk semua bot dan peraturan yang lebih ketat untuk laluan seperti /admin/ atau kawasan lain yang kurang penting.

Bagaimana fail ini harus diterbitkan?

Semak output yang dijana, simpan sebagai robots.txt, kemudian muat naik ke tahap tertinggi domain anda, contohnya https://example.com/robots.txt. Selepas diterbitkan, uji fail itu dengan Search Console atau alat perayap dan pastikan laluan serta URL Sitemap sepadan dengan struktur laman sebenar anda.

Apakah batasannya?

robots.txt ialah arahan perayapan, bukannya sistem kawalan akses. Ia boleh membimbing perayap yang mematuhi peraturan, tetapi tidak melindungi kandungan peribadi atau menyekat permintaan terus. Oleh itu, halaman sensitif masih perlu dilindungi dengan pengesahan atau kebenaran di bahagian pelayan.