關於百度 Spider 的惡形惡狀可見茁壯成長的弱智Baiduspider一文

據說也不太理 robots.txt, 所以有人直接把該 IP 段以防火牆全部封鎖.

我採用的作法是在 .htaccess 或是 httpd.conf 中加入這段設定: (參考Apache 關閉百度搜尋引擎存取)

SetEnvIf User-Agent ^Baiduspider badrobot
SetEnvIf User-Agent ^sogou badrobot

<Files *>
Order allow,deny
Allow from all
Deny from env=badrobot
</Files>