2004-11-02
Googlebot今昔物語
検索エンジン対策には、以下のものがある。
- ロボット巡回
- インデックス追加
- アルゴリズム適合
- フィルタ回避
(1)のロボット巡回対策のひとつは、「リンク最適化」とSEO塾で呼んでいるミッションがあり、SEOの究極奥義と位置付けている。まぁ、下手な鉄砲も数打ちゃ中る、のリンクではうまくいかないよ、ということである。
また、ロボット巡回対策においては、結果としての検索エンジンに登録されている・いないでは正確ではない。ロボットのアクセスを確認することが大事である。
そこで、サーバの生ログなどから、ロボットの巡回を見定めるわけである。
GooglebotのIPアドレス
アクセスログからロボットの巡回の痕跡を認める場合、ユーザーエージェントか、IPアドレスかで探すことになる。
ところが、Googleは方針としてアンチSEOなので、ユーザーエージェントもIPアドレスも、たびたび変更しているから厄介だ。
最近の、ユーザーエージェントは「Googlebot/2.1 (+http://www.google.com/bot.html)」もしくは「Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)」、IPアドレスは、「66.249.6#.#」となっている。
両者とも、数ヶ月前には見かけなかったものである。
特に、IPアドレスは、ドメインを表示しないようにしているので、昔のように、「crawlx.googlebot.com」や「crawlerx.googlebot.com」では見つからない。
それに、「ディープクロール」や「フレッシュクロール」なども、区別がつかなくなっている。
検索エンジンのロボット（クローラ、スパイダー）«検索エンジンの薀蓄：検索エンジン上位表示のSEO塾
上記は、今年の8月のサイト立ち上げ時は最新情報のつもりだったし、時々更新をしているが、それでもGoogle関連については古臭くなっている。
まして、Google対策では、アルゴリズム適合よりもフィルタ回避に尽力しなくてはならない。
ということで、サイトや書籍やセミナーの情報では、Google上位表示がうまくいかないケースが多いということである。
2004-11-02 12:44 PM
