2006-05-16
Big Daddy症候群 - 今Googleで起こっていること
短期集中エントリー：GoogleのBig Daddy問題を研究する
2006-05-16現在、Googleでは、検索するユーザー側でも、検索されたいサイトオーナー側でも、非常にやっかいなトラブルが数多く見受けられる。
原因のほとんどは、「Big Daddy」と呼ばれる新しいデータセンターに切り替えられたことによると判断されるが、なぜトラブルが発生しているのか、特に商用サイトなどでの対策はあるのか、追跡してみることにする。
はじめに、今GoogleのBig Daddyというデータセンターで、何が起こっているのか、リストアップしてみよう。
Big Daddyという現象
フレーズ検索の機能不全
検索ユーザーにとって、一番腹立たしいのが、検索精度が著しく低下していることである。
- 日本語
- 英語
それぞれ、ブラウザで表示してみると、2006-05-16 20:45現在、日本語キーワードの(1)と(2)は同じ総数を示している。
英語キーワードは、そうはならない。
フレーズ検索：Google の詳しい検索方法によると、「検索結果のすべてのページには、" …….." で囲まれた言葉が文中に並んでいるページだけを検索します。」とあるのだが、キーワードによっては、そうならないものがあるのである。
2006-05-21追記
2006-05-21 8:35現在、上記の「間抜けなグーグル」と「"間抜けなグーグル"」の検索不全は解消されているようだ。
ただし、他のキーワードでは相変わらず使えないものが見付かる。
あっ、できないのはヤフーではなくて、グーグルでしょ、という突っ込みはなしで…
ページ消滅
上記の記事にあるとおり、全世界的に、一部のサイトでページがインデックスから消えてしまったという苦情があがっている。
これは、先日のスパム疑惑の某有名サイトなどが、Google八部されたということとはまったく違う。
Big Daddyというデータセンターでの、インデックス漏れということである。
Googlebotの編成替え
未修正で恥ずかしいことだが、Googleのロボット - Googlebot :Google(グーグル)対策に記述している下記(1)のユーザーエージェントのクローラは姿を消している。
- googlebot/2.1 (+http://www.google.com/bot.html)
- mozilla/5.0 (compatible; googlebot/2.1; +http://www.google.com/bot.html)
そして、巡回しているGooglebotのほとんどすべてが、(2)になっている。
さらに、Matt Cutts: Gadgets, Google, and SEO » Crawl caching proxyによると、「Crawl caching proxy」という仕組みでサイトを巡回しているとのことである。
つまり、ただ一つのGoogleのクローラだけがページをクロールして、他のクローラは前者が蓄積した「Crawl caching proxy」のデータを二次利用するというものらしい。
Google側の巡回漏れが無くなるとのことだが、逆に、サイトオーナーはどのタイプのクローラがやってきたのか判別できなくなるわけだ。
SEOとして、Googlebotの巡回を解析することを止めよと、言外に含んでいる。
google.co.jpのパラメータなど
www.google.co.jpで検索した場合、下記のようなパラメータ付きで検索結果が表示される時がある。
- http://www.google.co.jp/url?sa=U&start=14&q=http://www.hyperposition.com/&e=10001
「時がある」とは、そうでないこともあるからだ。
Internet Explorer、IEコンポーネントのタブブラウザ、Firefox、Opera、MacのSafariなど、いろいろ試してみているが、パラメータが付く時と付かない時とあり、パターンは一定ではない。
しかもルータの再起動などで、プロバイダから与えられているIPアドレスを変更すると、違うパターンになるケースもあり、ひょっとして、ユーザーのIPアドレスを見ているのかもしれない。
商用サイトの問題
一番関心があるのが、先日の某有名サイトがなぜGoogle八部されたのか、であるだろう。
また、不正なSEO(スパム)や、行き過ぎたSEO(過剰SEO)によって、Google八部されたサイトも、ほとんどが復活しているが、一部には未だインデックスから消えたままのサイトもある。
これらは、Big Daddy導入前の事件ではあるが、Big Daddyのポリシーとも密接に絡み合っている。
そして、昔の「Sandbox Effect」ではないが、一部のサイトに対して順位下落のペナルティを科している。
もちろん、SEO不足では順位が上がらないのだが、不正なSEOや行き過ぎたSEOでも、望むような上位表示を達成できない。これが、今のGoogleの難しさである。
これからのエントリー
以後何回かに分けて、上記の現象がなぜ起こるのか、回避するにはどうすればいいのか、エントリーしていくことにする。
2006-05-16 10:07 PM
