什麼是 robots.txt 產生器？
robots.txt 產生器可協助你建立一個純文字檔案，用來告訴爬蟲網站的哪些部分可以抓取。它會把 User-agent 群組、允許/禁止規則、Sitemap 連結與可選指令組合成一個可直接發佈到網站根目錄的 robots.txt 檔案。
可以設定哪些內容？
你可以為不同爬蟲建立獨立的規則群組，套用常見預設，填寫一個或多個 Sitemap URL，並在目標爬蟲支援時設定 Host 或 Crawl-delay。這樣既可以為所有機器人設定通用規則，也可以對 /admin/ 或其他低價值路徑使用更嚴格的抓取限制。
應該如何發佈這個檔案？
先檢查產生結果，再將檔案儲存為 robots.txt，並上傳到網域根目錄，例如 https://example.com/robots.txt。發佈後，最好用搜尋引擎主控台或爬蟲測試工具驗證規則是否生效，並確認路徑與 Sitemap URL 和線上站點結構一致。
有哪些限制？
robots.txt 只是抓取指令，不是存取控制系統。規範的爬蟲通常會遵守它，但它不能保護私密內容，也不能阻止直接請求，因此敏感頁面仍應使用登入、權限控制或其他伺服器端保護措施。