ルートURL設定
クローラーの開始地点となるルートURLを設定します。
ルートURLとは
ルートURLは、クローラーが最初にアクセスするページです。クローラーは、このページから始めて、リンクをたどりながらサイト内のページを巡回していきます。 サイトの構造によっては、複数のルートURLを設定することで、より効率的にクロールできます。 また、被リンクのなくなったページを追加することで、インデックスに再登録できます。
入力例
ドメインが example.com、プロトコルが https の場合:
| パス | 実際にクロールされるURL |
|---|---|
/ | https://example.com/ |
/blog/ | https://example.com/blog/ |
/products/index.html | https://example.com/products/index.html |
プロトコルを http に設定している場合は、http:// から始まるURLがクロールされます。パスには、ドメイン以降の部分(/ から始まる部分)を255文字以内、/ から始まる形式で入力します。
ルートURLの特別な扱い
ルートURLに設定したページは、他の設定より優先して扱われます。
- クロール対象設定で「クロールしない」に該当していてもクロールされます
- robots.txtの
Disallowの対象外です - URLパラメータの書き換えの対象外です
- 被リンクの有無にかかわらず削除されません
ルートURLの追加・削除は、稼働中の検索インデックスに即時反映されます。追加したルートURLはすぐにクロールされます(登録済みのページ数がアプリの上限ページ数に達している場合は登録されません)。
ルートURLを削除しても、そのページがすぐに検索結果から消えるわけではありません。「ルートURL」としての特別な扱いが外れるだけで、以降は他のページと同様に被リンクの有無で判定されます。
同一ドメイン内で同じパスのルートURLは重複して登録できません。登録済みのルートURLのパスは変更できないため、変更する場合は削除してから登録し直します。