robots.txtの遮断、クロールトラフィックにどんな影響があるのか
検索エンジンのクローラーはサイトごとに1日に訪問できるページ数、つまりクロール予算が決まっています。検索結果に表示される必要のない管理画面、重複パラメータURL、内部検索結果ページなどをrobots.txtで遮断すると、クローラーはその分の予算を重要なページに集中させることができます。逆に不要なページを放置すると、クロール予算が無駄になり、重要なコンテンツの発見やインデックスが遅れる問題が生じることがあります。
この計算機は全体ページ数、遮断比率、1日のクロール予算を入力として受け取り、実際にクロールが許可されるページ数、遮断によって節約されるページ数、許可されたページ全体を1周クロールするのにかかる予想日数を表示します。サイト構造を再編したりrobots.txtルールを新たに作成する時、どの程度まで遮断するのが効率的か感覚をつかむ用途として活用してください。
よくある質問
クロール予算(Crawl Budget)とは何ですか?
検索エンジンのクローラーが1日に訪問して収集できるページ数の上限です。不要なページを遮断すると重要なページをより頻繁にクロールできます。
robots.txtで遮断しても検索結果に表示されることがありますか?
はい。robots.txtはクロールのみを防ぐもので、インデックスを完全には防げません。完全に隠すにはnoindexタグや認証と併用してください。