ドメイン管理

クロール対象のドメインを管理します。

ドメインとは

ドメインは、クロール対象となるWebサイトの単位です。各ドメインに対して、以下の設定を個別に行うことができます。

ドメイン名には、プロトコル（http:// や https://）を含めず、ドメイン部分のみを入力してください。

各ドメインに対して、sitemap.xmlの解析を有効または無効に設定できます。デフォルトでは有効になっています。

sitemap.xmlの解析が有効な場合、クローラーはドメインの sitemap.xml を自動的に取得・解析し、記載されているURLをクロール対象として追加します。これにより、リンクをたどるだけでは発見できないページも漏れなくクロールできます。

また、sitemap.xmlに掲載されているページは、被リンクがない場合でも削除対象になりません。

この設定は、ドメイン追加時またはドメイン詳細画面の「ドメイン設定変更」ボタンから変更できます。

各ドメインに対して、robots.txtへの準拠を有効または無効に設定できます。デフォルトでは有効になっています。

robots.txtの準拠が有効な場合、クローラーはドメインの robots.txt を取得し、記載されているルールに従ってクロールを行います。Disallow で指定されたパスはクロール対象から除外されます。

この設定は、ドメイン追加時またはドメイン詳細画面の「基本設定」から変更できます。

URLパラメータを削除または置換することで、重複コンテンツの登録を防ぎます。

URLパスごとに、クロールの動作を細かく制御できます。

ヘッダー、フッター、サイドバーなどの共通部分を除外し、本文のみを抽出します。

画像、カテゴリ、タイトルなどのコンテンツを、カスタムルールで抽出します。

基本設定

クローラーの基本的な動作設定を行います。

ルートURL設定

クローラーの開始地点となるルートURLを設定します。