HTML共通部分の除外

ヘッダー、フッター、サイドバーなどの共通部分を除外して検索精度を向上させます。

HTML共通部分の除外機能を使うことで、ヘッダー、フッター、サイドバーなどの共通部分を除外し、本文のみを抽出できます。

HTML共通部分の除外とは

多くのWebサイトでは、すべてのページに共通のヘッダー、フッター、ナビゲーションメニューなどが含まれています。これらの共通部分をインデックスに含めると、検索精度が低下します。 HTML共通部分の除外機能を使うことで、ページの本文のみを抽出し、検索精度を向上させることができます。

関連コンテンツなど、そのページとは直接的に関係のない要素も除外することをおすすめします。

除外する要素は、CSSセレクタで指定します。

#header          - ID が header の要素を除外
.sidebar         - クラスが sidebar の要素を除外
nav              - nav タグの要素を除外
footer           - footer タグの要素を除外

複数のセレクタを指定することで、複数の要素を一度に除外できます。「＋セレクタを追加」ボタンで追加してください。

URLパスは、Globパターンで指定します。

複数の設定が同じパスに一致する場合、優先度の一番大きいもののみ適用されます。

クロール対象設定

URLパスごとにクロールの動作を細かく制御します。

HTMLコンテンツ抽出

HTML内の画像、カテゴリ、タイトルなどのコンテンツをカスタムルールで抽出します。