クロール対象設定

URLパスごとにクロールの動作を細かく制御します。

クロール対象設定とは

Webサイトには、クロールする必要がないページや、検索結果には表示したくないがリンクの抽出だけは行いたいページなどが存在します。クロール対象設定を使うことで、URLパス単位でこれらのページの扱いを制御できます。

クロール対象設定では、以下の4つのルールから選択できます。

指定したパスのページをクロールしません。リンクの抽出も、インデックスへの登録も行いません。

管理画面やログインページなどに使います。

ページをクロールしてリンクを抽出しますが、インデックスには登録しません。

一覧ページやカテゴリページなど、検索結果には表示したくないが、リンク先のページはクロールしたい場合に使います。

ページをインデックスに登録しますが、ページ内のリンクは抽出しません。

リンク先をクロールしたくない場合に使います。

ページをクロールし、リンクを抽出して、インデックスにも登録します。（デフォルトの動作）

通常のコンテンツページに使います。

ドメインを追加すると、パス /**・優先度1000で「リンク抽出・インデックスする」というクロール対象設定が自動的に作成されるため、上記の「デフォルトの動作」はこの設定によるものです。この設定を削除・変更した場合は、下記「どの設定にも一致しないパスの扱い」のとおりになります。

URLパスは、Globパターンで指定します。

どのクロール対象設定にも一致しないパスは、「クロールしない」を設定した場合と同様に扱われます。クロールされず、すでにインデックスに登録されているページであれば削除されます。

複数の設定が同じパスに一致する場合、優先度の一番大きいもののみ適用されます。

優先度	パス	ルール
2	`/blog/category/**`	リンク抽出のみ
1	`/blog/**`	リンク抽出・インデックスする

この場合、/blog/category/ 配下のURLには「リンク抽出のみ」が適用され（優先度が高い）、それ以外の /blog/ 配下のURLには「リンク抽出・インデックスする」が適用されます。