用語集
クローラー（Crawler）
クローラーはインターネットの中を巡回している自動巡回プログラムの名称です。 このプログラムは、インターネットの中にあるウェブサイト等の情報を収集し、それをデータベースに登録していくというものです。 新設されたウェブページ、更新されたウェブページを見つけると、データベースへの登録・更新をして行くのが特徴です。 また、クローラーは、ウェブページのＨＴＭＬ内部に記述されているハイパーリンクを辿ってウェブページに訪れる事から、被リンクが多数形成されているページにはクローラーが訪れる頻度が高いと言われています。 尚、ページを巡回した際に、そのウェブページの内容、構造などを判断してデータベースに登録していくと言う特徴もあります。
お役立ち情報
日本において重要となるのは、主にGoogleのクローラーです。巡回の頻度はサイトによっても異なりますが、ウェブマスターツールの中には、「Fetch as Google」や「URLのクロール」というサイトに対するクロールを促す機能も用意されています。サイトを新規作成した場合や、「更新した内容をなるべく早く検索結果に反映して欲しい」と考える場合には、Googleが用意しているツールを活用することも必要です。ただし、「Fetch as Google」「URLのクロール」には回数上限が設定されていますので、利用する際には注意が必要です。