크롤링 속도 제한, 소요 시간은 어떻게 계산할까?
대부분의 사이트는 robots.txt나 서버 부하 방지를 위해 크롤링 요청 간 딜레이를 요구합니다. 이 계산기는 총 수집 페이지 수를 동시 요청 수(concurrency)로 나누고, 요청 간 딜레이를 곱해 전체 크롤링에 걸리는 예상 시간을 계산합니다.
공식은 총 소요 시간 = (페이지 수 ÷ 동시 요청 수) × 딜레이(초)입니다. 예를 들어 1만 페이지를 동시 요청 5개, 딜레이 2초로 수집한다면 (10,000 ÷ 5) × 2 = 4,000초, 약 1시간 6분이 걸립니다. 동시 요청 수를 늘리면 시간을 줄일 수 있지만, 대상 서버의 정책을 넘어서면 차단될 수 있으므로 반드시 이용약관과 robots.txt를 먼저 확인해야 합니다.
실제 크롤링에서는 네트워크 지연, 페이지 렌더링 시간, 실패 시 재시도 로직이 추가되기 때문에 실제 소요 시간은 이 계산값보다 다소 늘어나는 경우가 많습니다. 여유 있게 일정을 잡는 것을 권장합니다.
자주 묻는 질문
딜레이를 줄이면 항상 빨라지나요?
딜레이를 줄이면 시간은 짧아지지만, 대상 서버의 robots.txt나 이용약관에서 정한 속도 제한을 초과하면 IP 차단이나 법적 문제가 발생할 수 있습니다.
동시 요청 수를 무한정 늘려도 되나요?
대상 서버에 부담을 주지 않는 범위 내에서만 늘려야 합니다. 대부분의 사이트는 동시 접속 수에도 별도의 제한을 두고 있습니다.
실제 소요 시간은 계산값과 다를 수 있나요?
네. 네트워크 지연, 서버 응답 시간, 재시도 로직 등이 추가되면 실제 소요 시간은 이 계산값보다 늘어날 수 있습니다.