クローラーについて

クローラーとは

クローラーは、指定されたWebサイトを巡回し、ページの内容を収集してインデックス化するプログラムです。neodigでは、このクローラーを使用して、お客様のWebサイトのコンテンツを検索可能な形式に変換します。

クロール間隔について

neodig クローラーはページの種別や更新頻度に応じて、クロール間隔を決定しクロールします。

被リンクの無いページ

他のページからリンクされていないページです。これらのページは、1週間後に自動的に削除されます。削除予定日時は、ページ詳細で確認できます。クローラー操作から即時削除することもできます。

パスの指定方法（Globパターン）

neodigでは、設定を適用するURLをGlobパターンで指定します。Globパターンを使うことで、柔軟にURLを指定できます。

Globパターンの基本

指定例

/item.php          - /item.php のみに適用
/blog/*            - /blog/ 直下のページに適用
/blog/**           - /blog/ 配下のすべてのページに適用
/**/*.php          - すべての .php ファイルに適用
/*                 - ルート直下のすべてのページに適用

** は複数階層にマッチし、* は単一階層内でのみマッチします。

Globパターンの判定では、英大文字・小文字が区別されます。URLのクエリパラメータ（?以降）やフラグメント（#以降）は判定に含まれず、パス部分のみで判定されます。パスに日本語などの非ASCII文字が含まれる場合は、パーセントエンコード形式（例: /ニュース/ は /%E3%83%8B%E3%83%A5%E3%83%BC%E3%82%B9/）で判定されるため、パターンも同じ形式で指定します。

設定の流れ

クローラーを利用するには、以下の順序で設定を行います。