クロール対象設定

クロール対象設定とは

Webサイトには、クロールする必要がないページや、検索結果には表示したくないがリンクの抽出だけは行いたいページなどが存在します。クロール対象設定を使うことで、URLパス単位でこれらのページの扱いを制御できます。

クロールルールの種類

クロール対象設定では、以下の4つのルールから選択できます。

1. クロールしない

指定したパスのページをクロールしません。リンクの抽出も、インデックスへの登録も行いません。

使用例: 管理画面、ログインページなど

2. リンク抽出のみ

ページをクロールしてリンクを抽出しますが、インデックスには登録しません。

使用例: 一覧ページ、カテゴリページなど（検索結果には表示したくないが、リンク先のページはクロールしたい場合）

3. インデックスのみ

ページをインデックスに登録しますが、ページ内のリンクは抽出しません。

使用例: リンク先をクロールしたくない場合

4. リンク抽出・インデックスする

ページをクロールし、リンクを抽出して、インデックスにも登録します。（デフォルトの動作）

使用例: 通常のコンテンツページ

パスの指定（Globパターン）

URLパスは、Globパターンで指定します。

優先度について

複数の設定が同じパスに一致する場合、優先度の一番大きいもののみ適用されます。

設定例

この場合、/blog/category/ 配下のURLには「リンク抽出のみ」が適用され（優先度が高い）、それ以外の /blog/ 配下のURLには「リンク抽出・インデックスする」が適用されます。