更生したBaiduspider

　もう、Yetiみたいな行儀の悪いボットは居ないだろうと思っていたら、今度は、Baiudspiderが来ていた。昨日一日だけ見ると、Yahoo! Slurp以上Googlebot未満のアクセス数だった。

　このBaiudspiderも、短い間隔でリクエストを送りつけるなどする悪名高かったボットで、登場して間もなくアクセス拒否したサイトも多かった。（参考：Baiduspiderとは / 晴練雨読）

　トラフィックを一つも生まないのに…と書こうとしたら、タイミングのいい事に、Baidu.jpの検索結果から初アクセスがあった(笑)。生ログを見ると、アクセス頻度も1分に1回くらいのペースを守っていて、クローラの排除をする必要はなさそう。以前も、HTTP_USER_AGENTの詐称といった悪質な事は、やっていなかったと思うし。

　Baiduspiderのbotマナーが良くなったのは、2007年3月にBaidu.jp、Baidu Spiderに関する御詫びと対処法について – Baiduプレスセンターという広報が出ていているので分かる。当時は国内サイトのアクセス拒否が増えて、検索精度に影響が出たか、出そうな所までになってしまったのだろう（問い合わせ先を見て、日本法人が六本木ヒルズにあると初めて知った）。

　もう一つ、Baidu.jpが運用するクローラーについてで判ったのが、ユーザエージェントに、P05Aが入っているモバイルクローラがある事。確かに、Google Analyticsでは、Googlebot-MobileのN905i程ではないけれど、他の機種に比べてP05Aのアクセスが多い日もあったので、携帯向けのクローラが来ているのだろう。でも、気になるような頻度ではなかった。

　今日初めて、Baidu.jpの検索結果ページをを見たけれど、まんまGoogleのパクリに見えた。ちょうど、Googleのロゴを百度に取り替えて、アドセンスを無くした感じ。ちゃんと、独自のデザインにした方がいいと思うけど。

　適切にクロールされて、検索対象になるのであれば、「ようこそ」です。

あわせてこちらの記事もどうぞ