ロボット型検索エンジン
クローラーとは簡単に言うと、様々なサイトやウェブページを巡回して記事のデータを自動で収集するロボットのことです。
現在では Google をはじめ多くの検索エンジンが採用しています。
1）クローラーのページ巡回
クローラーが主に収集するデータとは「文書や画像」です。どのように巡回するかというと、ウェブページに貼られているリンクを辿って他のサイトに行き、またリンクを辿って・・・ という流れを繰り返しています。
SEOを高めるためにはサイトの中で行方不明になってしまう記事が出ないよう、しっかりとリンクを貼ってサイトへの訪問者やクローラーに簡単に発見してもらえるような状況にしておくことが大事です。
2）収集された情報の分類
クローラーが収集した情報は検索エンジンによって分類され、評価基準に則ってそのサイトが上位に表示されるか否かを決定します。
サイトで設定した「キーワード」で、どのデータベースに収容するかの分類を行って格納されます。
キーワードごとに専用の箱があるイメージです。
3）検索結果の決定と表示
評価基準そのものがアルゴリズム（計算方法）なわけですが、その基準は年々進化しています。
しかもウェブページを評価するアルゴリズムは残念ながら決して公に公開されることはありません。なぜなら本来価値の無いサイトが上位表示されるという事態が発生してしまうためです。評価基準のアルゴリズムこそが Google の資産でもあるわけです。
4）まとめ
なんらかのテクニックを使って上位表示される事態を検索エンジンは非常に嫌います。正当な努力を検索エンジンは評価するわけです。
その辺は私達のように、人間関係とよく似ていると言えるかもしれません。