πŸ€–robots.txt 크둀링 뢄석기

전체 νŽ˜μ΄μ§€ μˆ˜μ™€ 차단 λΉ„μœ¨μ„ μž…λ ₯ν•˜λ©΄ 크둀링 νŠΈλž˜ν”½ 영ν–₯을 κ³„μ‚°ν•©λ‹ˆλ‹€.

개
%
νŽ˜μ΄μ§€/일

robots.txt 차단, 크둀링 νŠΈλž˜ν”½μ— μ–΄λ–€ 영ν–₯을 μ€„κΉŒ?

검색엔진 ν¬λ‘€λŸ¬λŠ” μ‚¬μ΄νŠΈλ§ˆλ‹€ ν•˜λ£¨μ— λ°©λ¬Έν•  수 μžˆλŠ” νŽ˜μ΄μ§€ 수, 즉 크둀링 μ˜ˆμ‚°μ΄ ν•œμ •λ˜μ–΄ μžˆμŠ΅λ‹ˆλ‹€. 검색 결과에 λ…ΈμΆœλ  ν•„μš”κ°€ μ—†λŠ” κ΄€λ¦¬μž νŽ˜μ΄μ§€, 쀑볡 νŒŒλΌλ―Έν„° URL, λ‚΄λΆ€ 검색 κ²°κ³Ό νŽ˜μ΄μ§€ 등을 robots.txt둜 μ°¨λ‹¨ν•˜λ©΄ ν¬λ‘€λŸ¬κ°€ 그만큼 λ‚¨λŠ” μ˜ˆμ‚°μ„ μ€‘μš”ν•œ νŽ˜μ΄μ§€μ— 집쀑할 수 있게 λ©λ‹ˆλ‹€. λ°˜λŒ€λ‘œ λΆˆν•„μš”ν•œ νŽ˜μ΄μ§€κ°€ 방치되면 크둀 μ˜ˆμ‚°μ΄ λ‚­λΉ„λ˜μ–΄ μ •μž‘ μ€‘μš”ν•œ μ½˜ν…μΈ κ°€ 늦게 λ°œκ²¬λ˜κ±°λ‚˜ μƒ‰μΈμ—μ„œ λˆ„λ½λ˜λŠ” λ¬Έμ œκ°€ 생길 수 μžˆμŠ΅λ‹ˆλ‹€.

이 κ³„μ‚°κΈ°λŠ” 전체 νŽ˜μ΄μ§€ 수, 차단 λΉ„μœ¨, ν•˜λ£¨ 크둀링 μ˜ˆμ‚°μ„ μž…λ ₯λ°›μ•„ μ‹€μ œλ‘œ 크둀링이 ν—ˆμš©λ˜λŠ” νŽ˜μ΄μ§€ μˆ˜μ™€ μ°¨λ‹¨μœΌλ‘œ μ ˆμ•½λ˜λŠ” νŽ˜μ΄μ§€ 수, 전체 ν—ˆμš© νŽ˜μ΄μ§€λ₯Ό ν•œ 바퀴 ν¬λ‘€λ§ν•˜λŠ” 데 κ±Έλ¦¬λŠ” μ˜ˆμƒ 일수λ₯Ό λ³΄μ—¬μ€λ‹ˆλ‹€. μ‚¬μ΄νŠΈ ꡬ쑰λ₯Ό κ°œνŽΈν•˜κ±°λ‚˜ robots.txt κ·œμΉ™μ„ μƒˆλ‘œ μž‘μ„±ν•  λ•Œ, μ–΄λŠ μ •λ„κΉŒμ§€ μ°¨λ‹¨ν•˜λŠ” 것이 νš¨μœ¨μ μΈμ§€ 감을 μž‘λŠ” μš©λ„λ‘œ ν™œμš©ν•΄λ³΄μ„Έμš”.

자주 λ¬»λŠ” 질문

크둀링 μ˜ˆμ‚°(Crawl Budget)μ΄λž€ λ¬΄μ—‡μΈκ°€μš”?

검색엔진 ν¬λ‘€λŸ¬κ°€ ν•˜λ£¨μ— λ°©λ¬Έν•΄ μˆ˜μ§‘ν•  수 μžˆλŠ” νŽ˜μ΄μ§€ 수의 ν•œλ„μž…λ‹ˆλ‹€. λΆˆν•„μš”ν•œ νŽ˜μ΄μ§€λ₯Ό μ°¨λ‹¨ν•˜λ©΄ μ€‘μš”ν•œ νŽ˜μ΄μ§€λ₯Ό 더 자주 크둀링할 수 μžˆμŠ΅λ‹ˆλ‹€.

robots.txt둜 차단해도 검색 결과에 λ…ΈμΆœλ  수 μžˆλ‚˜μš”?

λ„€. robots.txtλŠ” 크둀링만 막을 뿐 색인을 μ™„μ „νžˆ μ°¨λ‹¨ν•˜μ§€ λͺ»ν•©λ‹ˆλ‹€. μ™„μ „νžˆ 숨기렀면 noindex λ©”νƒ€νƒœκ·Έλ‚˜ 인증을 ν•¨κ»˜ μ‚¬μš©ν•΄μ•Ό ν•©λ‹ˆλ‹€.