ドメイン管理

クロール対象のドメインを管理します。

ドメインとは

ドメインは、クロール対象となるWebサイトの単位です。各ドメインに対して、以下の設定を個別に行うことができます。

プロトコル（http/https）
ルートURL（クロールの開始地点）
URLパラメータの書き換えルール
クロール対象の制御
HTML共通部分の除外設定
コンテンツ抽出ルール
sitemap.xmlの解析設定
robots.txtの準拠設定

ドメインは、ホスト名の完全一致で判定されます。example.com と www.example.com のようなサブドメインは、それぞれ別のドメインとして扱われます。クロール対象に含めたいホストは、サブドメインごとに個別に登録してください。

プロトコル

ドメインごとに、クロール時に使用するプロトコル（http / https）を設定します。既定値は https です。

このプロトコルは、ルートURLや後述するsitemap.xml・robots.txtの取得先URLの組み立てにも使用されます。httpのみで運用しているサイトを登録する場合は、ドメイン追加時にプロトコルを http に変更してください。ドメイン追加画面ではURLを直接貼り付けると、プロトコルとドメイン名が自動的に分離されます。

sitemap.xmlの解析

各ドメインに対して、sitemap.xmlの解析を有効または無効に設定できます。デフォルトでは有効になっています。

sitemap.xmlの解析が有効な場合、クローラーはドメインの sitemap.xml（/sitemap.xml 固定のパス）を自動的に取得・解析し、記載されているURLをクロール対象として追加します。これにより、リンクをたどるだけでは発見できないページも漏れなくクロールできます。sitemap index形式で複数のsitemapに分割されている場合は、子sitemapをたどって解析します（最大3階層）。robots.txtの Sitemap: 行は参照しないため、sitemap.xml 以外のファイル名で公開している場合は解析されません。

sitemap.xmlの取得に失敗した場合や、内容の解析に失敗した場合も、クロール自体は継続されます。

また、sitemap.xmlに掲載されているページは、被リンクがない場合でも削除対象になりません。

この設定は、ドメイン追加時またはドメイン詳細画面の「基本設定」から変更できます。

robots.txtへの準拠

各ドメインに対して、robots.txtへの準拠を有効または無効に設定できます。デフォルトでは有効になっています。

robots.txtの準拠が有効な場合、クローラーはドメインの robots.txt（/robots.txt 固定のパス）を取得し、記載されているルールに従ってクロールを行います。Disallow で指定されたパスはクロール対象から除外されます。robots.txtが存在しない場合は、すべてのパスが許可されているものとして扱います。

sitemap.xml・robots.txtはいずれも1日に1回、自動的に再取得されます。再取得によって新たに Disallow に該当するようになったパスがある場合、既にクロール済みのページも削除されます。

この設定は、ドメイン追加時またはドメイン詳細画面の「基本設定」から変更できます。