網關中間件-Nginx(二)

網關中間件-Nginx(一)

第一部分我們主要介紹如下幾點：

1.nginx的基本概念

2.nginx結合業務場景實現負載均衡

3.常見問題的舉例

這一部分主要介紹Nginx中限流，緩存，動靜分離，以及Nginx的集群搭建，如果涉及舉例的話，依然使用上一部分的業務

一、限流

1.為什么要限流？

對於服務器來說，當有大量的高並發查詢時，假設當負載均衡的2個實例處理能力達到極限的時候，導致系統可能宕機的風險，那么查詢就無法完成，所以在有限資源的情況下。我們應如何保證系統不宕機？這時候我們就應該使用限流的方式來控制請求涌入服務器，保證可用性。

2.限流的方式

1.服務端和客戶端限流

主要配置是使用Nginx中的ngx_http_limit_conn_module模塊來完成

服務端限流

• 使用服務端限流來控制當前的虛擬主機的訪問量.

客戶端限流

• 使用客戶端端限流來控制當前ip請求的客戶端只能訪問一次.

# 服務端限流，限制總流量,獲取服務器虛擬主機的名字
limit_conn_zone $server_name zone=perserver:10m;
# 客戶端限流 獲取客戶端的ip地址
limit_conn_zone $binary_remote_addr zone=perserver:10m;
server {
        listen       80;
        server_name  localhost;
        location / {
        	# 只能限制2個請求進入服務器
            limit_conn perserver 2;
            proxy_pass  http://HealthCode;
        }
        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
   }
}

2種方式的缺陷

• 1.在使用服務端限流時，假設有10個客戶端在訪問，第一個客戶端被人惡意訪問，占用了全部的並發量，那其他正常的都無法訪問,這肯定是不友好的。

• 2.在使用客戶端限流時，假設限制一個客戶ip只能請求一次，但在某一時刻一共有百萬個客戶端請求並發，那服務同樣也抵抗不住會宕機。

2.平滑限流

1.針對第一部分中服務端和客戶端限流的策略產生的缺陷來說，我們可以選擇平滑限流的策略,主要在配置文件中使用ngx_http_limit_req_module來完成，
他的實現原理基於令牌桶算法，也就是在處理請求時，會去查找是否存在對應的令牌，如果令牌沒有了，那就會丟棄請求，例如設置速率是一秒鍾1000個，那就是1毫秒生成 一個令牌，也就是說在1毫秒，只能拿到一個令牌，如果一毫秒內請求100個，但是只拿到一個令牌，那就會丟棄其他99個請求。

#zone=addr:10m 將請求數緩沖
limit_req_zone $binary_remote_addr zone=one:10m rate=1000r/s;
server {
        listen       80;
        server_name  localhost;
        location / {
            limit_req zone=one;
            proxy_pass  http://HealthCode;
        }
        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
   }
}

2.如果設置速率為10毫秒一個，也就是10毫秒生成一個Token，按照這種情況服務器10毫秒只能處理一個有效請求，其他的會丟棄，但是服務器實例的性能能在10毫秒內處理3個，那此時我們應該既要保證突發又要保證平滑，這時就需要添加一個新的配置burst設置突發請求，意思就是再10毫秒只能處理一個請求的基礎上，再額外新增處理3個請求一秒鍾一個，設置nodelay將不會獲取token令牌，直接處理。

#zone=addr:10m 將請求數緩沖
limit_req_zone $binary_remote_addr zone=one:10m rate=1000r/s;
server {
        listen       80;
        server_name  localhost;
        location / {
            #burst設置突發3 nodelay不延時
            limit_req zone=one burst=3 nodelay;
            proxy_pass  http://HealthCode;
        }
        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
   }
}

3.由於nginx是全局限流，他會把所有的請求全部限流，有的時候我們只想針對某一個業務做到限流，例如我在查詢健康碼時需要限流，但是我在注冊個人信息時，不需要限流我們就應該對location進行規則匹配了，例如我只想限制查詢限流，就可以配置對應的接口限流

 #zone=addr:10m 將請求數緩沖
 limit_req_zone $binary_remote_addr zone=one:10m rate=1000r/s;
 server {
         listen       80;
         server_name  localhost;
         #所有
         location / {
             proxy_pass  http://HealthCode;
         }
         #設置api/HealthCode 路由進行限流
         location = /api/HealthCode {
             limit_req zone=one burst=3 nodelay;
             proxy_pass  http://HealthCode;
         }
         error_page   500 502 503 504  /50x.html;
         location = /50x.html {
             root   html;
    }
 }

二、動靜分離

主要在web項目中將動態資源和靜態資源分開，如果網站並發量太大，動態資源把cpu、內存資源耗盡，導致靜態資源無法訪問，所以需要使用動靜分離以提高網站可用性。

• 靜態資源：CSS js 圖片 視頻 文檔等數據。
• 動態資源：和數據庫有交互的一些資源

1.同一虛擬主機動靜分離

1.創建web網站，將靜態資源拷貝到單獨的文件夾中。
2.在nginx配置文件中單獨添加一個虛擬主機節點8089，加入一個靜態資源處理的location，和一個動態資源處理的location
3.將靜態資源和動態資源location節點，分別指向，靜態資源對應目錄，動態組員對應啟動端口和站點。

 server {
        listen       8089;
        server_name  localhost;
        #動態資源
        location / {
            proxy_pass   http://localhost:5007;
        }

        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }
        # ~代表優先匹配靜態資源
        location ~ \.(ico|js|css|png|jpg|mp4)$ {
        root C:/wwwroot;
    }
}

2.不同虛擬主機動靜分離

1.創建web網站，將靜態資源拷貝到單獨的文件夾中。
2.在nginx配置文件中單獨添加一個虛擬主機8089節點，加入一個location，專門用於處理動態資源。

server {
        listen       8089;
        server_name  localhost;
         location / {
            proxy_pass   http://localhost:5007;
        }
        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }
}

3.在nginx配置文件中單獨添加一個虛擬主機8090節點，加入一個location，專門用於處理靜態資源。

server {
        listen       8090;
        server_name  localhost;
        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }

        location ~ \.(ico|js|css|png|jpg|mp4)$ {
        root C:/wwwroot;
    }
}

4.創建虛擬主機節點8091，用於合並動態資源和靜態資源節點

server {
        listen       8091;
        server_name  localhost;
        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }
        
        #映射動態資源虛擬主機
        location / {
            proxy_pass   http://localhost:8089;
        }
        #映射靜態資源虛擬主機
        location ~ \.(ico|js|css|png|jpg|mp4)$ {
            proxy_pass   http://localhost:8090;
        }
    }

上面方法雖然雖然能實現動靜分離，有3個虛擬主機，但是在某種意義上只是對這個概念的實現，並沒有真正解決高並發場景下的問題，因為所有的處理依然還是在一台主機，共享內存、cpu，所以實際情況的最佳實踐應該是有3台服務器用於放置不同的服務。

3.拆分配置文件

有時候我們項目大了，nginx配置文件的配置項和虛擬主機也多了，維護也不太容易，所以我們應該使用配置文件拆分，然后使用Include命令讀取

1.新建一個拆分的conf命名 cache.conf;

server {
        listen       8089;
        server_name  localhost;
}

2.在nginx主配置文件中使用Include命令合並配置

include cache.conf;

三、nginx 代理緩存

Nginx緩存主要是用於減輕后端服務器的負載，提高網站並發量，提升用戶體驗度。

Nginx對客戶已經訪問過的內容在Nginx服務器本地建立副本，這樣在一段時間內再次訪問該數據，就不需要通過Nginx服務器再次向后端服務器發出請求，所以能夠減少Nginx服務器與后端服務器之間的網絡流量，減輕網絡阻塞，同時還能減小數據傳輸延遲，提高用戶訪問速度。

存儲形式

Nginx緩存是鍵值存儲，URL是鍵，文件路徑是值。鍵值存儲的速度就是加快在文件系統中查找的速度。所以，存儲的key是哈希過的值。

使用代理緩存需要知道的幾點：

1. 緩存文件放哪兒 ？
2. 如何指定哪些請求被緩存 ？
3. 緩存的有效期是多久 ?
4. 對於某些請求，是否可以不走緩存 ？

1.配置代理緩存

1.首先需要在nginx目錄中創建一個存儲緩存的目錄/cache/nginx/，然后配置緩存存儲路徑和緩存占用空間大小

 proxy_cache_path ./cache/nginx/ levels=1:2 keys_zone=mycache:64m;

2.虛擬主機配置

location / {
       		proxy_cache mycache;
            proxy_pass   http://localhost:5007;
            proxy_set_header Host $host;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_cache_methods GET HEAD;
            proxy_cache_revalidate on;
            proxy_cache_valid 200 302 10m;
            proxy_cache_valid 404 1m;
            proxy_cache_valid any 1m;
            proxy_cache_min_uses 1;
            proxy_cache_use_stale error timeout invalid_header http_500 http_502 http_503 http_504;
           
}

• proxy_cache mycache; #引用mycache緩存空間;
• proxy_set_header Host $host;#用於后端的real server區分不同的虛擬主機;
• proxy_set_header X-Real-IP $remote_addr; #記錄客戶端真實ip地址,而不是代理服務器地址,需要后端web服務器開啟日志相應功能接收;
• proxy_cache_methods GET HEAD;#表示對客戶端請求的GET 和 HEAD方法進行緩存;
• proxy_cache_revalidate on;#本地緩存過期會檢查后端服務器該緩存是否存在，避免后端重傳占據帶寬;
• proxy_cache_valid 200 302 10m;
  proxy_cache_valid 404 1m;
  proxy_cache_valid any 1m;
  #針對於不同的響應碼進行緩存不同的時間設定;
• proxy_cache_min_uses 30;#某一個請求被響應30次才會被緩存,默認是1,可以將該值設置為大一些;
• proxy_cache_use_stale error timeout invalid_header http_500 http_502 http_503 http_504;
  #指明哪種場景可以使用過期緩存,提升用戶體驗;
• proxy_hide_header;#隱藏由proxy響應客戶端時指定的首部;
• proxy_buffer 4|8k #為了響應客戶端更快,服務器端響應客戶端可能分成多個ip報文響應,也可以整合在一起再一次響應;

存在的缺陷

此類代理緩存，例如數據庫更新可能會存在一段時間的數據不同步，所以最好的方法就是使用redis或者ssdb存儲nginx的緩存，使用數據異構工具將數據同步，然后nginx讀取數據庫中的緩存