クローラー

  • HOME
  • クローラー

クローラー

クローラー
インターネット上のページを自動的に巡回し、Webページの情報を収集するプログラムのこと。
検索エンジンのクローラー(ボット、スパイダーとも呼ばれる)は、リンクを辿ってWeb上のページを探索し、その情報を検索エンジンのインデックスに追加する。
また、クローラーがサイトのコンテンツ更新や新規ページを検出し、それらを評価してユーザーの検索クエリに最も関連するページを検索結果として表示する。

最新記事はこちら

BLOGカテゴリ一覧