基本設定

基本設定とは

クローラーの基本的な動作を設定します。これらの設定は、すべてのドメインに共通して適用されます。

クロール並列数

同時にクロールするページ数を設定します。1〜5の範囲で設定でき、既定値は1です。

並列数を増やすとクロール速度は向上しますが、対象サーバーへの負荷も増加します。対象サーバーのリソースやサイトの規模を考慮して、並列数を決めてください。

クロールインターバル

ページ間のクロール間隔を設定します。0 / 0.5 / 1 / 2 / 3 / 4 / 5秒から選択でき、既定値は1秒です。

インターバルを長くすることで、対象サーバーへの負荷を軽減できます。一方で、クロール完了までの時間は長くなります。0秒に設定すると、可能な限り高速にクロールしますが、サーバーへの負荷が大きくなります。

User-Agent

クロール時に使用するUser-Agent文字列を設定します。既定値は Mozilla/5.0 (compatible; NeodigBot/1.0;) です。

User-Agentは、クローラーがWebサーバーに対して自身を識別するための文字列です。設定することで、アクセスログでクローラーのアクセスを識別しやすくなります。

robots.txtへの準拠を有効にしている場合、robots.txtの User-agent グループは、グループ名がこのUser-Agent文字列の先頭と一致する場合にのみ適用されます。既定のUser-Agentのままでは User-agent: NeodigBot のようなグループには一致せず、User-agent: * のグループが適用されます。特定のUser-Agent向けにrobots.txtのルールを分けるには、この設定値とrobots.txt側のグループ名を一致させる必要があります。