O que é um gerador de robots.txt?
Um gerador de robots.txt ajuda você a criar o arquivo de texto simples que informa aos rastreadores quais partes do seu site eles podem rastrear. Ele combina grupos de user-agent, regras allow/disallow, links de sitemap e diretivas opcionais em um arquivo robots.txt pronto para publicar na raiz do site.
O que você pode configurar?
Com esta ferramenta, você pode criar grupos de regras separados para diferentes rastreadores, aplicar predefinições comuns, adicionar uma ou mais URLs de sitemap e definir Host ou Crawl-delay quando os rastreadores de destino oferecerem suporte. Isso é útil quando você quer regras amplas para todos os bots e regras mais rígidas para caminhos como /admin/ ou outras áreas de pouco valor.
Como você deve publicar o arquivo?
Revise a saída gerada, salve-a como robots.txt e envie o arquivo para o nível superior do seu domínio, por exemplo https://example.com/robots.txt. Depois de publicar, teste o arquivo com o Search Console ou com ferramentas de rastreamento e confirme que os caminhos e as URLs de sitemap correspondem à estrutura real do site.
Quais são as limitações?
robots.txt é uma instrução de rastreamento, não um sistema de controle de acesso. Ele pode orientar rastreadores bem-comportados, mas não protege conteúdo privado nem bloqueia solicitações diretas. Por isso, páginas sensíveis ainda devem ser protegidas com autenticação ou autorização no servidor.