検索エンジンは、その仕組みによってディレクトリ型とロボット型の2種類に分類されます。
エディター(サーファー、ガイド)と呼ばれる審査員がそれぞれのホームページを訪問し、審査の結果、利用者にとって有益と認めれるホームページだけが検索の際のデーターベースに反映されます。その際にそれぞれのホームページが扱っているテーマ毎に階層的に分類されます。
現在、新規サイト登録の受付をおこなっておりません
サイトの登録掲載されるかどうか?、どのように表示されるか?どの位置に表示されるか? 等は、全て検索サイト側の管理者に委ねられます。
ただしサイトによってはそれなりのアクセスは期待できますので、掲載可能なサイトには全て登録しておいて損は無いでしょう。 従ってSEO上有効なテクニックというのは、ほとんどありませんが可能な限り上位のデイレクトリ(階層)に掲載されるようにすれば、被リンク要素(後述)において多少の恩恵を受けられるようになります。
また極端に知名度の低い検索サイトからは、新規のアクセスはほとんど期待できません。
SEO検索エンジン最適化の作業は、主にこのロボット型検索エンジン対策がメインとなります。
クローラー、スパイダー、グーグルボット等,通称ロボットと呼ばれるプログラムが広大なインターネットの世界を定期的に巡回し、それぞれのウェブページ内の情報をサーバー(データベース)に収納していきます。(このプロセスを「インデックス」と呼びます)
利用者が「キーワード」を用いて検索を実行すると、検索エンジンはデータベースの中から、そのキーワードに関連の深いウェブページを表示します。その際検索エンジンは、データベースの中からそれぞれのキーワード毎に重要度を評価し、関連度の高いと評価されるウェブページから順番に表示されます。このような評価の仕組みをアルゴリズムと言います。
そしてこのような重要度の評価は、先ほど述べたインデックスの段階で行われていると思われますが、その際に検索ロボットがページ内の情報を効率良くインデックスできるようなウェブページを作成することができれば、当然検索アルゴリズム上の評価も高くなり、その結果として検索結果の一覧により上位に表示されることが可能になります。
しかしこのようなアルゴリズムは一般に公開されている訳ではありません。当然のことながら企業秘密であり、トップシークレットです。またアルゴリズムは日々研究され進化していきます。
筆者がSEOという言葉に初めて出会った2001年頃は、既にヤフージャパンと提携していたgoogleがかなりのシェアを獲得していたものの、infoseekやgoo,FAST,INKTOMI,WiseNutなど、それぞれアルゴリズムの異なる検索エンジンからも一定量のトラフィックが期待できたため別々に対策を行うメリットがありました。
しかしながら2004年現在、日本国内でのロボット型検索エンジンのシェアを一言で表現すると、Google の一人勝ちといって良いでしょう。2004年5月現在googleは、多数の主要なポータルサイトに採用されているだけではなく、直接googleを利用しているユーザーも決して少なくありません。
したがって現段階(2004年)では、ロボット型検索エンジン対策=google対策と考えてかまいません。しかしながら今後もMSNのシェア拡大が継続することも予想され、ヤフージャパンもgoogleとの提携を終了し独自のロボット型検索エンジンの運用を開始するかもしれません。
平成16年5月31日、ヤフージャパンは、googleとの提携を解消し、新たな検索システムの運用を開始している。