基本設定
クローラーの基本的な動作設定を行います。
基本設定とは
クローラーの基本的な動作を設定します。これらの設定は、すべてのドメインに共通して適用されます。
クロール並列数
同時にクロールするページ数を設定します。
- 設定範囲: 1〜5
並列数を増やすとクロール速度は向上しますが、対象サーバーへの負荷も増加します。対象サーバーのリソースや、サイトの規模に応じて適切な値を設定してください。
並列数を増やしすぎると、対象サーバーから過度なアクセスとみなされ、アクセス制限を受ける可能性があります。
クロールインターバル
ページ間のクロール間隔を設定します。
- 設定範囲: 0〜5秒
インターバルを長くすることで、対象サーバーへの負荷を軽減できます。一方で、クロール完了までの時間は長くなります。
0秒に設定すると、可能な限り高速にクロールしますが、サーバーへの負荷が大きくなります。
User-Agent
クロール時に使用するUser-Agent文字列を設定します。
User-Agentは、クローラーがWebサーバーに対して自身を識別するための文字列です。設定することで、アクセスログでクローラーのアクセスを識別しやすくなります。