Cos’è un generatore di robots.txt?
Un generatore di robots.txt ti aiuta a creare il file di testo semplice che indica ai crawler quali parti del tuo sito possono esplorare. Combina gruppi di user-agent, regole allow/disallow, link alla sitemap e direttive opzionali in un file robots.txt pronto da pubblicare nella root del sito.
Cosa puoi configurare?
Con questo strumento puoi creare gruppi di regole separati per crawler diversi, applicare preset comuni, aggiungere uno o più URL di sitemap e impostare facoltativamente Host o Crawl-delay quando i crawler di destinazione li supportano. È utile quando vuoi regole ampie per tutti i bot e regole più rigide per percorsi come /admin/ o altre aree di scarso valore.
Come dovresti pubblicare il file?
Controlla l’output generato, salvalo come robots.txt e caricalo al livello più alto del tuo dominio, ad esempio https://example.com/robots.txt. Dopo la pubblicazione, verifica il file con Search Console o con strumenti di crawling e conferma che percorsi e URL della sitemap corrispondano alla struttura reale del sito.
Quali sono i limiti?
robots.txt è un’istruzione di crawling, non un sistema di controllo degli accessi. Può guidare i crawler ben educati, ma non protegge contenuti privati e non blocca le richieste dirette, quindi le pagine sensibili devono comunque essere protette con autenticazione o autorizzazioni lato server.