Y!Jボットの暴走

2011年3月28日 | 最終更新:2011年4月6日

腹立たしいと言うべきか、それとも呆れるべきなのか、ちょっと分からないが、 Yahoo! のクローラが暴走している。それもブックマークの画像作成用のボットのようで User-agent は BMT/1.0 (Y!J-AGENT)。短時間に違う IP アドレスから執拗に繰り返しアクセスしてくる、非常に無茶なことをするボット。

あるベージを例にすると:

上記は HTML 形式の1ファイルのみを例として記している。ページの要素の画像などもダウンロードしているので、著しく迷惑なボット。そして同様のことを30ページ以上で行っていた。これでは Yahoo! という会社の良識が問われてもおかしくないだろう。

あまりにもひどいので、robots.txt で弾く事にした。

2011年3月29日追加

robots.txt でこのクローラのアクセスを禁じたと思ったのだが、今日もまたしつこくアクセスしてきたので、もう我慢ならず .htaccess を使用しアクセスを禁じた。

2011年4月6日追加

.htaccess の記述に間違いがあって、また収まる様相もないので、結局3月31日、利用しているサーバー会社に IP アドレスをファイアウォールで遮断するように依頼して、ようやく落ち着いた。

インターネットで探しても、あまり似た事例が報告されていないので、例外的だったのか、何だったのか、未だによくわからない。