原文鏈接：http://colobu.com/2015/10/26/nginx-limit-modules/?utm_source=tuicool&utm_medium=referral
電商平台營銷時候，經常會碰到的大流量問題，除了做流量分流處理，可能還要做用戶黑白名單、信譽分析，進而根據用戶ip信譽權重做相應的流量攔截、限制流量。
Nginx自身有的請求限制模塊ngx_http_limit_req_module、流量限制模塊ngx_stream_limit_conn_module基於令牌桶算法，可以方便的控制令牌速率，自定義調節限流，實現基本的限流控制。
對於提供下載的網站，肯定是要進行流量控制的，例如軟件下載站、視頻服務等。
它也可以減少一些爬蟲程序或者DDOS的攻擊。
對這兩個模塊的介紹的文章也不少，這里轉載一篇hopestar的文章: nginx限制IP連接數的范例參考， 因為他介紹的很簡潔。
如何Nginx限制同一個ip的連接數，限制並發數目:
限流
(1) 添加limit_zone和limit_req_zone
這個變量只能在http使用 :
|
1
2
3
|
vi /export/servers/nginx/conf/nginx.conf
limit_zone one
$binary_remote_addr 20m;
limit_req_zone $binary_remote_addr zone=req_one:20m rate=12r/s;
|
(2) 添加limit_conn 和limit_req
這個變量可以在http, server, location使用 我是限制nginx上的所有服務，所以添加到http里面 （如果你需要限制部分服務，可在nginx/conf/domains里面選擇相應的server或者location添加上便可）
|
1
2
3
4
5
6
|
vi /export/servers/nginx/conf/nginx.conf
limit_zone one
$binary_remote_addr 20m;
limit_req_zone $binary_remote_addr zone=req_one:20m rate=12r/s;
limit_conn one 10;
limit_req zone=req_one burst=120;
|
參數詳解(數值按具體需要和服務器承載能力設置,):
|
1
2
3
4
|
limit_zone，是針對每個變量(這里指
IP，即$binary_remote_addr)定義一個存儲session狀態的容器。這個示例中定義了一個20m的容器，按照32bytes/session，可以處理640000個session。
limit_req_zone 與limit_zone類似。rate是請求頻率. 每秒允許
12個請求。
limit_conn one
10 : 表示一個IP能發起10個並發連接數
limit_req: 與limit_req_zone對應。burst表示緩存住的請求數。
|
范例:
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
|
http
{
limit_zone one $binary_remote_addr 20m;
limit_req_zone $binary_remote_addr zone=req_one:20m rate=12r/s;
limit_conn one 10;
limit_req zone=req_one burst=120;
server {
listen 80;
server_name status.xxx.com ;
location / {
stub_status on;
access_log off;
}
}
}
|
(3) 重啟nginx
|
1
|
/
export/servers/nginx/sbin/nginx -s reload
|
Nginx限制流量/限制帶寬 具體參考官方文檔
nginx白名單設置
以上配置會對所有的ip都進行限制，有些時候我們不希望對搜索引擎的蜘蛛或者某些自己的代理機過來的請求進行限制， 對於特定的白名單ip我們可以借助geo指令實現。
先在nginx的請求日志進行統計，查看那個ip的訪問量比較大， 運行:
|
1
2
|
cat access.log | grep "03/Jun" |awk '{print $1}'|sort |uniq -c|sort -nrk 1|head -n 10
#列出訪問日志里面在
6月3號這天前10個訪問量最大的ip.
|
接下來就可以對這些IP進行分析了。看哪些需要進行白名單設置。
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
|
http{
geo
$limited { # the variable created is $limited
default 1;
127.0.0.1/32 0;
10.12.212.63 0;
}
map
$limited $limit {
1 $binary_remote_addr;
0 "";
}
limit_zone one
$binary_remote_addr 20m;
limit_req_zone
$limit zone=req_one:20m rate=20r/s;
limit_conn one
10;
limit_req zone=req_one burst=
120;
}
|
上面兩個需要用到map和geo模塊，這是nginx自帶的模塊，有的運維喜歡把他們關閉，自己./sbin/nginx -V 留意一下。把配置的--whithout-XXX-module 去掉重新編譯一下就可以了。 上面這段配置的意思是：
1.geo指令定義了一個白名單limitedlimited的值為0
2.使用map指令映射搜索引擎客戶端的ip為空串，如果不是搜索引擎就顯示本身真實的ip，這樣搜索引擎ip就不能存到limit_req_zone內存session中，所以不會限制搜索引擎的ip訪問
PS:獲取客戶端的真實IP
順帶一提，為了獲取客戶端的真實IP。該模塊需要安裝read_ip模塊，運維應該默認有安裝。沒有的話也可自行安裝： 配置方式相當簡單，重新編譯 Nginx 加上 --with-http_realip_module 參數，如：
|
1
2
3
|
./configure --prefix=/opt/nginx --with-http_stub_status_module --with-pcre=../pcre-6.6 --with-http_realip_module
make
make install
|
在server中增加:
|
1
2
3
|
set_real_ip_from 192.168.1.0/24;
set_real_ip_from 192.168.2.1;
real_ip_header [X-Real-IP|X-Forwarded-For];
|
需要說明的地方就是設置IP源的時候可以設置單個IP，也可以設置IP段，另外是使用X-Real-IP還是X-Forwarded-For，取決於前面的服務器有哪個頭。
set_real_ip_from 設置的IP端可以讓運維查看日志，看下你的請求是來自哪些ip段。
重新加載一下服務，差不多就OK了。
再查看日志的話，應該可以看到客戶端的真實IP了。
注意：如果未安裝該模塊的話你的獲取到的IP端可能是來自前端代理（如squid）的IP，結果就是多個用戶被當成單個用戶對待，導致應用不能響應。 參考:http://hi.baidu.com/thinkinginlamp/item/e2cf05263eb4d18e6e2cc3e6
再PS一下： 自測: 有條件的自己可以用ab或者webben自測一下。
未安裝前壓測的話，因為有大量請求，所以access.log會有大量日志，而error.log日志沒有變化。
|
1
2
3
4
5
6
7
|
[root@qrwefsdf talk]# webbench -
c 30 -t 30 http://xxx.com
Webbench - Simple Web Benchmark 1.5
Copyright (c) Radim Kolar 1997-2004, GPL Open Source Software.
Benchmarking: GET http://xxx.com
30 clients, running 30 sec.
Speed=193468 pages/min, 1254317 bytes/sec.
Requests: 96734 susceed, 0 failed.
|
安裝后會發現很多超出的請求會返回503,所以access.log日志變化不快，error.log有大量記錄,提示limit_reque緩住了多少請求。
|
1
2
3
4
5
6
7
|
[root@qrwefsdf talk]# webbench -
c 30 -t 30 http://xxxx.com
Webbench - Simple Web Benchmark 1.5
Copyright (c) Radim Kolar 1997-2004, GPL Open Source Software.
Benchmarking: GET http://xxx.com
30 clients, running 30 sec.
Speed=120 pages/min, 778 bytes/sec.
Requests: 60 susceed, 0 failed.
|