🗺️ robots.txt 생성기 | 크롤 규칙 바로 생성

Q: Disallow 를 비워 두면 어떻게 되나요?

빈 값의 Disallow: 한 줄이 나가고, 이는 막는 경로가 없다는 뜻이라 전체 허용으로 읽힙니다. 반대로 Disallow: / 는 사이트 전체 차단이니 둘을 헷갈리지 마세요.

적용 대상 (User-agent)

차단할 경로 (한 줄에 하나)

경로는 사이트 루트부터 시작하는 / 로 적습니다. 차단 경로를 비워 두면 Disallow: 빈 값이 나가고, 이는 전체 허용을 뜻합니다.

예외로 허용할 경로 (한 줄에 하나)

Crawl-delay (초, 비워 두면 생략)

초

Crawl-delay 는 모든 크롤러가 지키는 지시가 아닙니다. 무시하는 크롤러도 있으니 서버 부담은 서버 쪽 제한으로도 함께 다루세요.

사이트맵 주소 (한 줄에 하나)

생성된 robots.txt

줄 수-

규칙-

사이트맵-

파일은 사이트 루트의 /robots.txt 에 그대로 올립니다. 이 도구는 텍스트를 만들기만 하고 크롤링 영향이나 색인 결과를 예측하지 않습니다.

크롤 규칙을 골라 robots.txt 텍스트로 받기

robots.txt 는 줄 순서와 띄어쓰기가 정해져 있어 손으로 쓰다 한 글자만 틀려도 규칙이 통째로 무시됩니다. 적용 대상과 차단·허용 경로, 필요하면 Crawl-delay 와 사이트맵 주소를 넣으면 그대로 올릴 수 있는 텍스트가 나옵니다. 경로는 한 줄에 하나씩 적고, 중복은 자동으로 한 번만 남습니다.

조립 순서는 User-agent 줄 다음에 Allow, Disallow, Crawl-delay 가 오고 사이트맵 줄은 빈 줄 뒤에 붙입니다. 경로는 / 로 시작해야 하며, 공백이나 제어문자가 섞인 줄은 몇 번째 줄인지 알려 주고 반려합니다. 사이트맵은 전체 주소여야 하므로 http 또는 https 로 시작하지 않으면 받지 않습니다. User-agent 이름도 허용 문자만 통과시킵니다.

이 도구는 파일 텍스트를 만들기만 합니다. 크롤 예산이나 색인 결과를 예측하지 않고, 지금 쓰고 있는 robots.txt 를 분석하지도 않습니다. Crawl-delay 는 모든 크롤러가 지키는 지시가 아니라는 점도 함께 기억하세요. 2026년 10월 기준입니다.

자주 묻는 질문

Disallow 를 비워 두면 어떻게 되나요?

빈 값의 Disallow: 한 줄이 나가고, 이는 막는 경로가 없다는 뜻이라 전체 허용으로 읽힙니다. 반대로 Disallow: / 는 사이트 전체 차단이니 둘을 헷갈리지 마세요.

robots.txt 로 막으면 검색 결과에서 사라지나요?

아닙니다. robots.txt 는 크롤러에게 가져가지 말라고 요청하는 파일이지 색인 제거 수단이 아닙니다. 이미 색인된 주소는 다른 페이지의 링크만으로도 결과에 남을 수 있어, 색인에서 빼려면 페이지 쪽 지시나 각 검색엔진의 제거 요청을 써야 합니다.

경로에 한글이나 공백이 있으면요?

공백은 %20 처럼 퍼센트 인코딩해서 넣어야 하고, 한글 경로도 인코딩된 형태로 적는 편이 안전합니다. 이 도구는 공백이 섞인 줄을 반려하며 몇 번째 줄인지 알려 줍니다.

🗺️robots.txt·sitemap 설정 생성기

관련된 도구

robots.txt 크롤링 분석기

도메인 SEO 점수 체크

크롤 규칙을 골라 robots.txt 텍스트로 받기

자주 묻는 질문

관련된 도구

robots.txt 크롤링 분석기

도메인 SEO 점수 체크

크롤 규칙을 골라 robots.txt 텍스트로 받기

자주 묻는 질문

같은 카테고리 도구