Googlebot/2.1 (+http://www.google.com/bot.html)と304(Not Modified)

2004-07-19

Googlebot/2.1 (+http://www.google.com/bot.html)と304(Not Modified)

今回（2004-07-17スタート）のGoogle更新の不審なバックリンクだが、64.233.167.xxxのデータセンターが未更新のままで、216.239.53.xxxと66.102.7.xxxが一旦更新しながら、また前に戻ったりしている。

ところで、2004-07-14から、新しいユーザーエージェントのGooglebotが出現しているようだ。Googlebot < SEO塾 掲示板（閉鎖）
Googlebot/2.1 (+http://www.google.com/bot.html)

Googlebotのホスト名とユーザーエージェント

ホスト名	ユーザーエージェント
crawler#.googlebot.com	Googlebot/2.1 (+http://www.google.com/bot.html)
crawl#.googlebot.com	Googlebot/2.1 (+http://www.googlebot.com/bot.html)

今のところは、crawl#系がgooglebot.com、crawler#系がgoogle.comと分かれているようだ。
そして、この新ユーザーエージェントを持つcrawler#系は、HTTPのステータスコードで304（Not Modified）を出している。つまり、未更新ページを認識しているということだ。
同一ページでも、 crawl#系は200となっている（と思う）。
GooglebotのIPアドレスとホスト名に関しては、検索エンジンのロボット（クローラ、スパイダー）

幸か不幸か、SEO塾の旧サイトは更新停止しているので、crawler#系によって大量の304をサーバログに残している。

ユーザーエージェントを変え、304を認識しているということは、アルゴリズムに反映するつもりだろう。
上位表示などのランキングはともかく、Googlebotの巡回頻度などに影響してくるかもしれない。

またGoogleは変化するのか？

2004-07-19 10:36 AM