ルートURL設定

クローラーの開始地点となるルートURLを設定します。

ルートURLとは

ルートURLは、クローラーが最初にアクセスするページです。クローラーは、このページから始めて、リンクをたどりながらサイト内のページを巡回していきます。 サイトの構造によっては、複数のルートURLを設定することで、より効率的にクロールできます。 また、被リンクのなくなったページを追加することで、インデックスに再登録できます。

入力例

ドメインが example.com、プロトコルが https の場合:

パス実際にクロールされるURL
/https://example.com/
/blog/https://example.com/blog/
/products/index.htmlhttps://example.com/products/index.html

プロトコルを http に設定している場合は、http:// から始まるURLがクロールされます。パスには、ドメイン以降の部分(/ から始まる部分)を255文字以内、/ から始まる形式で入力します。

ルートURLの特別な扱い

ルートURLに設定したページは、他の設定より優先して扱われます。

  • クロール対象設定で「クロールしない」に該当していてもクロールされます
  • robots.txtの Disallow の対象外です
  • URLパラメータの書き換えの対象外です
  • 被リンクの有無にかかわらず削除されません

ルートURLの追加・削除は、稼働中の検索インデックスに即時反映されます。追加したルートURLはすぐにクロールされます(登録済みのページ数がアプリの上限ページ数に達している場合は登録されません)。

ルートURLを削除しても、そのページがすぐに検索結果から消えるわけではありません。「ルートURL」としての特別な扱いが外れるだけで、以降は他のページと同様に被リンクの有無で判定されます。

同一ドメイン内で同じパスのルートURLは重複して登録できません。登録済みのルートURLのパスは変更できないため、変更する場合は削除してから登録し直します。