クローラーとは

クローラーとは、動画や画像などさまざまなECサイトの情報を集め、データベースに保存する検索プログラムです。インターネットにECサイトが繋がっていれば、クローラーは情報を収集しようと動きますが、作って間もないECサイトではなかなか情報をクローラーが見つけられないので工夫が必要です。クローラーが収集するファイルは、HTML ・PHP・PDFファイル、WordやPowerPointなどで作成されたファイル、JavaScriptで生成されるリンクなどがあります。また、日本の検索エンジンでGoogleが90％を占めているので、Googleのクローラー(Googlebot)に注意しておく必要があります。その他のクローラーとして、Yahoo SlurpやBaiduspider・bingbotなどがあります。

クローラーは、ECサイトのURLを見つけて情報収集を行うので、外部のECサイトからリンクを張っておくと見つけられやすくなります。また、ECサイト上にどんなページがあるのかをGoogleに送信するGoogleサーチコンソールに登録をしておくことで、サイトの存在を知ってもらうことが可能になります。