ドメイン管理
クロール対象のドメインを管理します。
ドメインとは
ドメインは、クロール対象となるWebサイトの単位です。各ドメインに対して、以下の設定を個別に行うことができます。
- ルートURL（クロールの開始地点）
- URLパラメータの書き換えルール
- クロール対象の制御
- HTML共通部分の除外設定
- コンテンツ抽出ルール
ドメイン名には、プロトコル（
http:// や https://）を含めず、ドメイン部分のみを入力してください。ドメインの設定
ドメイン一覧から設定したいドメインをクリックすると、そのドメインの詳細設定画面に移動します。
設定項目
各ドメインでは、以下の設定が可能です。
1. ルートURL（必須）
クローラーがクロールを開始する起点となるURLを設定します。
2. URLパラメータの書き換え（任意）
URLパラメータを削除または置換することで、重複コンテンツの登録を防ぎます。
3. クロール対象設定（任意）
URLパスごとに、クロールの動作を細かく制御できます。
4. HTML共通部分の除外（任意）
ヘッダー、フッター、サイドバーなどの共通部分を除外し、本文のみを抽出します。
5. HTMLコンテンツ抽出（任意）
画像、カテゴリ、タイトルなどのコンテンツを、カスタムルールで抽出します。