百度さんいらっしゃい!

Googleさんにインデックスを削除された件で、サーバのアクセスなんぞを見ていましたら、Baiduspiderなるもののアクセスが異常に多いことがわかりました。これは中国の検索エンジン「百度(baidu)」のクローラーロボットなのだそうです。

多い時で1時間に1,000以上も我が家に土足で入ってきていたのです。中国の検索エンジンにインデックスしてもらって、中国からアクセスしていただいても、ほとんどの方が日本語読めないでしょうし、在中日本人の方はそれこそgoogleさんかYahoo!さんの日本語サイトを利用して検索するでしょうから、ただサーバに負荷がかけているだけじゃね?ってことでアクセスを拒否してみました。

◆robots.txtに以下を記載する

User-agent: BaiduSpider
Disallow: /

User-agent: Baiduspider
Disallow: /

User-agent: Baiduspider+
Disallow: /

User-agent: BaiduImagespider
Disallow: /

User-agent: BaiduMobaider
Disallow: /

◆.htaccessに以下を記載する

SetEnvIf User-Agent “Baiduspider” deny_agent
SetEnvIf User-Agent “BaiduImagespider” deny_agent
SetEnvIf User-Agent “BaiduMobaider” deny_agent
SetEnvIf Referer “^http://www.baidu.jp” deny_ref
order allow,deny
allow from all
deny from env=deny_ref
deny from env=deny_agent
deny from .crawl.baidu.jp

allow from all

RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} Baiduspider [NC,OR]
RewriteCond %{HTTP_USER_AGENT} BaiduImagespider [NC]
RewriteRule !^robots.txt$ http://www.baidu.jp/ [R=301,L]
RewriteEngine off

どこかのHPにあったのをコピペしただけですが、今日は平穏な日々でした。今のところはじいているみたい。サーバも心なしかサクサク動いているように思えます。後は件数は少ないのですが韓国のbotも止めときます。

スポンサーリンク