采集和防止采集是一個經久不息的話題,一方面都想搞別人的東西,另一方面不想自己的東西被別人搞走。
本文介紹如何利用nginx屏蔽ip來實現防止采集,當然也可以通過iptable來實現。
1.查找要屏蔽的ip
awk '{print $1}' nginx.access.log |sort |uniq -c|sort -n
nginx.access.log 為日志文件,
會到如下結果,前面是ip的訪問次數,后面是ip,很明顯我們需要把訪問次數多的ip並且不是蜘蛛的ip屏蔽掉,本例當中我們屏蔽掉
165.91.122.67 ... 13610 202.112.113.192 95772 180.169.22.135 337418 219.220.141.2 558378 165.91.122.67
2.在nginx的安裝目錄下面,新建屏蔽ip文件,命名為blockip.conf,以后新增加屏蔽ip只需編輯這個文件即可。 加入如下內容
deny 165.91.122.67;
保存一下。
3.在nginx的配置文件nginx.conf中加入如下配置,可以放到http, server, location, limit_except語句塊,需要注意相對路徑,本例當中nginx.conf,blocksip.conf在同一個目錄中。
include blockip.conf;
nginx.conf文件將該配置加入http{}標簽末尾:
vim nginx.conf
http{
include blocksip.conf;
}
nginx -t nginx -s reload
4.重啟一下nginx的服務:/usr/local/nginx/nginx -s reload 就可以生效了。
高級用法:
屏蔽ip的配置文件既可以屏蔽單個ip,也可以屏蔽ip段,或者只允許某個ip或者某個ip段訪問。
# 屏蔽單個ip訪問
deny IP;
# 允許單個ip訪問
allow IP;
# 屏蔽所有ip訪問
deny all;
# 允許所有ip訪問
allow all;
#屏蔽整個段即從123.0.0.1到123.255.255.254訪問的命令
deny 123.0.0.0/8
#屏蔽IP段即從123.45.0.1到123.45.255.254訪問的命令
deny 124.45.0.0/16
#屏蔽IP段即從123.45.6.1到123.45.6.254訪問的命令
deny 123.45.6.0/24
如果你想實現這樣的應用,除了幾個IP外,其他全部拒絕,
那需要你在blockip.conf中這樣寫
allow 1.1.1.1; allow 1.1.1.2; deny all;
允許IP訪問最后一定要加deny all;表示除了上面allow的其他都禁止
單獨網站屏蔽IP的方法,把include blocksip.conf; 放到網址對應的在server{}語句塊,
所有網站屏蔽IP的方法,把include blocksip.conf; 放到http {}語句塊。
如果一個server里,轉發好多location,可以用以下辦法
如果想只針對某個網站,可以在具體的網站的配置中加入:
location / { allow 192.168.0.0/24; deny all; }
這樣就只允許192.168.0.0網段的ip訪問
屏蔽訪問過於頻繁的IP腳本需要根據實際的nginx log 格式,修改,取出 訪問IP 和User-Agent.
在nginx配置文件中添加一條配置
include ./vhost/blockip.conf;
腳本內容:
#!/bin/bash nginx_home=/usr/local/webserver/nginx log_path=/usr/local/webserver/nginx/logs tail -n50000 /usr/local/webserver/nginx/logs/access.log \ |awk '{print $1,$12}' \ |grep -i -v -E "google|yahoo|baidu|msnbot|FeedSky|sogou" \ |awk '{print $1}'|sort|uniq -c|sort -rn \ |awk '{if($1>1000)print "deny "$2";"}' >$nginx_home/conf/vhost/blockip.conf /etc/init.d/nginx reload
轉自
在Nginx服務器上屏蔽IP的一些基本配置方法分享_nginx_腳本之家
http://www.jb51.net/article/77043.htm
nginx屏蔽ip – 運維與架構 - nginx.cn
http://www.nginx.cn/2487.html
單獨網站屏閉IP的方法:
在server"{}",在這個大括號內加入deny IP地址是限制某IP地址訪問;allow IP地址是只允許某IP地址訪問;
#屏蔽單個IP的命令是
deny 123.45.6.7
#封整個段即從123.0.0.1到123.255.255.254的命令
deny 123.0.0.0/8
#封IP段即從123.45.0.1到123.45.255.254的命令
deny 124.45.0.0/16
#封IP段即從123.45.6.1到123.45.6.254的命令是
deny 123.45.6.0/24
或者
如果想只針對某個網站,可以在具體的網站的配置中加入:
location / {
allow 192.168.0.0/24;
deny all;
}
這樣就只允許192.168.0.0網段的ip訪問
所有網站屏蔽IP的方法,把deny IP; 放到http {}語句塊。
nginx 禁止某個IP訪問 - 前端開發&搜索引擎優化 - CSDN博客
http://blog.csdn.net/qq435792305/article/details/10498999
Nginx禁止ip訪問或IP網段訪問方法 - studyphp - 博客園
https://www.cnblogs.com/already/p/6244295.html
(4條消息)nginx限制ip訪問 nginx訪問權限 - 系統運維 - CSDN博客 https://blog.csdn.net/xiaocao12/article/details/52304097