Was ist ein robots.txt-Generator?
Ein robots.txt-Generator hilft Ihnen, die einfache Textdatei zu erstellen, mit der Sie Crawlern mitteilen, welche Bereiche Ihrer Website sie crawlen dürfen. Er kombiniert User-Agent-Gruppen, Allow/Disallow-Regeln, Sitemap-Links und optionale Direktiven zu einer robots.txt, die Sie direkt im Stammverzeichnis Ihrer Website veröffentlichen können.
Was können Sie konfigurieren?
Mit diesem Tool können Sie getrennte Regelgruppen für unterschiedliche Crawler anlegen, gängige Presets anwenden, eine oder mehrere Sitemap-URLs eintragen und optional Host- oder Crawl-delay-Werte setzen, wenn die Ziel-Crawler diese unterstützen. Das ist nützlich, wenn Sie allgemeine Regeln für alle Bots und strengere Regeln für Pfade wie /admin/ oder andere weniger wichtige Bereiche benötigen.
Wie sollten Sie die Datei veröffentlichen?
Prüfen Sie die Ausgabe, speichern Sie sie als robots.txt und laden Sie die Datei in das Stammverzeichnis Ihrer Domain hoch, zum Beispiel unter https://example.com/robots.txt. Testen Sie die Datei nach der Veröffentlichung mit Search-Console- oder Crawler-Tools und vergewissern Sie sich, dass Pfade und Sitemap-URLs zu Ihrer Live-Struktur passen.
Welche Einschränkungen gibt es?
robots.txt ist eine Crawling-Anweisung und kein Zugriffsschutz. Sie kann gut erzogene Crawler steuern, schützt aber keine privaten Inhalte und blockiert keine direkten Anfragen. Empfindliche Bereiche sollten daher weiterhin durch Anmeldung oder serverseitige Autorisierung geschützt werden.