robots.txt ジェネレーターとは？
robots.txt ジェネレーターは、サイトのどの部分をクローラーがクロールしてよいかを示すプレーンテキストのファイルを作成するためのツールです。User-agent グループ、Allow/Disallow ルール、Sitemap リンク、任意のディレクティブをまとめて、サイトルートにそのまま配置できる robots.txt を生成します。
何を設定できますか？
クローラーごとに別々のルールグループを作成し、よく使うプリセットを適用し、1 つ以上の Sitemap URL を追加し、対象クローラーが対応している場合は Host や Crawl-delay を設定できます。すべてのボット向けの共通ルールと、/admin/ など特定パス向けの厳しめのルールを分けたいときに便利です。
ファイルはどのように公開すべきですか？
生成結果を確認して robots.txt という名前で保存し、https://example.com/robots.txt のようにドメインの最上位にアップロードしてください。公開後は検索コンソールやクローラーテストツールで確認し、記載したパスや Sitemap URL が本番サイトの構成と一致しているかをチェックしてください。
制限は何ですか？
robots.txt はクロール指示であって、アクセス制御の仕組みではありません。一般的なクローラーへの案内には使えますが、非公開コンテンツを保護したり直接アクセスを遮断したりはできないため、重要なページは認証やサーバー側の権限制御で保護する必要があります。