用語集 | ECサイト構築パッケージSI Web Shopping

クローキングとは

作成者: 株式会社DGコマース|2024.04.18

クローキングは、ユーザーと検索エンジンに対して、それぞれ異なるコンテンツを表示させることを言います。Googleのガイドラインに違反するので、やってはいけません。主に、違法なWEBサイトの運営者が規制から逃れるために行う方法です。例えば検索エンジンのロボットには健全なコンテンツを表示させておき、ユーザー(人間)にはきわどいコンテンツを表示する、といったイメージです。

クローキングの手法として多いとされているのは、主にIPアドレスやユーザーエージェントを利用した人間と検索エンジンロボットで出し分ける方法です。これらの情報を元に、人間であるユーザーがサイトにアクセスしたのか検索エンジンなのかを判別しそれぞれで異なるコンテンツを表示させるのです。