nginx配置禁止爬蟲配置

1、在配置文件里添加禁止爬蟲配置

server { 

　　………………
　　#添加如下內容即可防止爬蟲

　　if ($http_user_agent ~* "qihoobot|Baiduspider|Googlebot|Googlebot-Mobile|Googlebot-Image|Mediapartners-Google|Adsbot-Google|Feedfetcher-Google|Yahoo! Slurp|Yahoo! Slurp China|YoudaoBot|Sosospider|Sogou spider|Sogou web spider|MSNBot|ia_archiver|Tomato Bot") 
　　{ 
　　return 403; 
　　} 

 

 

 2、限制同一個ip的訪問頻率

　　速率限制主要有2個主要指令，limit_req_zore 和limit_req

1、在nginx.conf里的http{}里加上如下代碼：

limit_conn_zone $binary_remote_addr zone=perip:10m;
limit_conn_zone $server_name zone=perserver:10m;

2、在需要限制並發數和下載帶寬的網站配置server{}里加上如下代碼：

limit_conn perip 2;
limit_conn perserver 20;
limit_rate 100k;

補充說明下參數：
$binary_remote_addr是限制同一客戶端ip地址；
$server_name是限制同一server最大並發數；
limit_conn為限制並發連接數；
limit_rate為限制下載速度；