クローラー(Crawler)とは

ロボット型サーチエンジンの、自動巡航の語句収集プログラムのことをいう。古くは検索エンジンロボットまたはスパイダーといわれていたが、今ではクローラーのほうが一般的。

クローラーは、定期的に各サイトを巡回しデータを収集、そのHTML内のリンクを辿って、次のWebサイトへ進む。
クローラーの巡回周期は、各サーチエンジンによって様々である。

関連記事