インターネット | ヤフーのクローラ未だに巡回中

2010年11月3日

ようやく以前のブログから現在のサイトへの移行が完了に近づいてきていたので、久し振りに統計を見たら、未だに Yahoo! のクローラが頻繁に巡回しているよう。

英語圏では Yahoo! から Bing に移行しつつあるはずだが、Bingbot はまだ来ていないし、MSNBot もYahoo Slurp に比べると巡回しているページ数は10分の1程。Bing は新しいクローラを宣伝するよりも Yahoo Slurp を使えばいいのにと素人だから思ってしまう。気になって、Bing Webmaster Tools を覗くと、まだまだ古いページが列挙されていて、301リダイレクトなどを使っていても、新サイトの URI に切り替わるまでかなり時間がかかりそう。英語圏では Google が圧倒的に強いので、心配する必要はない?

日本では Google が検索エンジンとして Yahoo! に再搭載されるはずで、これは Google 派としては朗報。そして日本の Y!J Yahoo Japan クローラがかなり活発に動いている。さっと見たかぎり、このサイトの日本語版のページは結構素早く検索結果に反映されているので心強い。

今後英語圏などで Yahoo Slurp は Bingbot に吸収され、日本では Googlebot のみとなるのだろうか。それとも Yahoo! は検索市場から完全に撤退するのではなく、再起の余地を残すのだろうか。検索エンジン市場の将来はどんな形となるか、興味深いところ。