Wat is een robots.txt-generator?
Een robots.txt-generator helpt je het eenvoudige tekstbestand te maken waarmee je crawlers vertelt welke delen van je site ze mogen crawlen. Het combineert user-agentgroepen, allow/disallow-regels, sitemaplinks en optionele richtlijnen in een robots.txt-bestand dat klaar is om in de hoofdmap van je site te publiceren.
Wat kun je configureren?
Met deze tool kun je aparte regelgroepen maken voor verschillende crawlers, veelgebruikte presets toepassen, één of meer sitemap-URL’s toevoegen en optioneel Host- of Crawl-delay-waarden instellen wanneer je doelcrawlers die ondersteunen. Dat is handig wanneer je brede regels voor alle bots wilt en strengere regels voor paden zoals /admin/ of andere minder belangrijke delen.
Hoe moet je het bestand publiceren?
Controleer de gegenereerde uitvoer, sla die op als robots.txt en upload het bestand naar het hoogste niveau van je domein, bijvoorbeeld https://example.com/robots.txt. Test het bestand na publicatie met Search Console of crawlertools en controleer of de paden en sitemap-URL’s overeenkomen met de structuur van je live site.
Wat zijn de beperkingen?
robots.txt is een crawl-instructie, geen toegangscontrolesysteem. Het kan goed gedragen crawlers sturen, maar het beschermt geen privé-inhoud en blokkeert geen directe verzoeken. Gevoelige pagina’s moeten daarom nog steeds worden beschermd met authenticatie of server-side autorisatie.