robots.txt 생성기란?
robots.txt 생성기는 사이트의 어떤 부분을 크롤러가 수집해도 되는지 알려 주는 일반 텍스트 파일을 만드는 도구입니다. User-agent 그룹, Allow/Disallow 규칙, Sitemap 링크, 선택적 지시어를 조합해 사이트 루트에 바로 게시할 수 있는 robots.txt 파일을 생성합니다.
무엇을 설정할 수 있나요?
서로 다른 크롤러를 위한 규칙 그룹을 따로 만들고, 자주 쓰는 프리셋을 적용하고, 하나 이상의 Sitemap URL을 추가하고, 대상 크롤러가 지원할 때 Host 또는 Crawl-delay를 설정할 수 있습니다. 이렇게 하면 모든 봇에 대한 공통 규칙과 /admin/ 같은 특정 경로에 대한 더 엄격한 규칙을 함께 관리할 수 있습니다.
파일은 어떻게 게시해야 하나요?
생성된 결과를 검토한 뒤 robots.txt라는 이름으로 저장하고 https://example.com/robots.txt 처럼 도메인 최상위 경로에 업로드하세요. 게시 후에는 검색 콘솔이나 크롤러 테스트 도구로 확인하고, 경로와 Sitemap URL이 실제 사이트 구조와 일치하는지 점검하는 것이 좋습니다.
어떤 한계가 있나요?
robots.txt는 크롤링 지시일 뿐 접근 제어 시스템이 아닙니다. 정상적으로 동작하는 크롤러를 안내할 수는 있지만 비공개 콘텐츠를 보호하거나 직접 요청을 막지는 못하므로, 민감한 페이지는 여전히 인증이나 서버 측 권한 제어로 보호해야 합니다.