13、Nginx七層負載均衡

1.Nginx負載均衡基本概述

1.1為什么需要使用負載均衡

當我們的Web服務器直接面向用戶，往往要承載大量並發請求，單台服務器難以負荷，我使用多台WEB服務器組成集群，前端使用Nginx負載均衡，將請求分散的打到我們的后端服務器集群中，實現負載的分發。那么會大大提升系統的吞吐率、請求性能、高容災

往往我們接觸的最多的是SLB(Server Load Balance)負載均衡，實現最多的也是SLB、那么SLB它的調度節點和服務節點通常是在一個地域里面。那么它在這個小的邏輯地域里面決定了他對部分服務的實時性、響應性是非常好的。
所以說當海量用戶請求過來以后，它同樣是請求調度節點，調度節點將用戶的請求轉發給后端對應的服務節點，服務節點處理完請求后在轉發給調度節點，調度節點最后響應給用戶節點。這樣也能實現一個均衡的作用，那么Nginx則是一個典型的SLB

1.2負載均衡能實現的應用場景

負載均衡能實現的應用場景一: 四層負載均衡
所謂四層負載均衡指的是OSI七層模型中的傳輸層，那么傳輸層Nginx已經能支持TCP/IP的控制，所以只需要對客戶端的請求進行TCP/IP協議的包轉發就可以實現負載均衡，那么它的好處是性能非常快、只需要底層進行應用處理，而不需要進行一些復雜的邏輯。

負載均衡能實現的應用場景二: 七層負載均衡
七層負載均衡它是在應用層，那么它可以完成很多應用方面的協議請求，比如我們說的http應用的負載均衡，它可以實現http信息的改寫、頭信息的改寫、安全應用規則控制、URL匹配規則控制、以及轉發、rewrite等等的規則，所以在應用層的服務里面，我們可以做的內容就更多，那么Nginx則是一個典型的七層負載均衡SLB

1.3.四層負載均衡與七層負載均衡區別

四層負載均衡數據包在底層就進行了分發，而七層負載均衡數據包則是在最頂層進行分發、由此可以看出，七層負載均衡效率沒有四負載均衡高。
但七層負載均衡更貼近於服務，如:http協議就是七層協議，我們可以用Nginx可以作會話保持，URL路徑規則匹配、head頭改寫等等，這些是四層負載均衡無法實現的。

2.Nginx負載均衡配置場景

Nginx要實現負載均衡需要用到proxy_pass代理模塊配置.
Nginx負載均衡與Nginx代理不同地方在於，Nginx代理僅代理一台服務器，而Nginx負載均衡則是將客戶端請求代理轉發至一組upstream虛擬服務池

Nginx upstream虛擬配置語法

Syntax: upstream name { ... }
Default: -
Context: http

#upstream例
upstream backend {
    server backend1.example.com       weight=5;
    server backend2.example.com:8080;
    server unix:/tmp/backend3;
    server backup1.example.com:8080   backup;
}
server {
    location / {
        proxy_pass http://backend;
    }
}

2.0.環境規划

角色	外網IP(NAT)	內網IP(LAN)	主機名
LB01	eth0:10.0.0.5	eth1:172.16.1.5	lb01
web01	eth0:10.0.0.7	eth1:172.16.1.7	web01
web02	eth0:10.0.0.8	eth1:172.16.1.8	web02

2.1.Web01服務器上配置nginx, 並創建對應html文件

[root@web01 ~]# cd /etc/nginx/conf.d/
[root@web01 conf.d]# cat node.conf 
server {
    listen 80;
    server_name node.oldboy.com;
    location / {
        root /node;
        index index.html;
    }
}
[root@web01 conf.d]# mkdir /node
[root@web01 conf.d]# echo "Web01..." > /node/index.html
[root@web01 conf.d]# systemctl restart nginx

2.2.Web02服務器上配置nginx, 並創建對應html文件

[root@web02 ~]# cd /etc/nginx/conf.d/
[root@web02 conf.d]# cat node.conf 
server {
    listen 80;
    server_name node.oldboy.com;
    location / {
        root /node;
        index index.html;
    }
}
[root@web02 conf.d]# mkdir /node
[root@web02 conf.d]# echo "Web02..." > /node/index.html
[root@web02 conf.d]# systemctl restart nginx

2.3.配置Nginx負載均衡

[root@lb01 ~]# cd /etc/nginx/conf.d/
[root@lb01 conf.d]# cat node_proxy.conf 
upstream node {
    server 172.16.1.7:80;
    server 172.16.1.8:80;
}
server {
    listen 80;
    server_name node.oldboy.com;

    location / {
        proxy_pass http://node;
        include proxy_params;
    }
}
[root@lb01 conf.d]# systemctl restart nginx

2.4.准備Nginx負載均衡調度使用的proxy_params

[root@Nginx ~]# vim /etc/nginx/proxy_params
proxy_set_header Host $http_host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

proxy_connect_timeout 30;
proxy_send_timeout 60;
proxy_read_timeout 60;

proxy_buffering on;
proxy_buffer_size 32k;
proxy_buffers 4 128k;

2.5.使用瀏覽器訪問node.oldboy.com, 然后不斷刷新測試

3.Nginx負載均衡調度算法

調度算法	概述
輪詢	按時間順序逐一分配到不同的后端服務器(默認)
weight	加權輪詢,weight值越大,分配到的訪問幾率越高
ip_hash	每個請求按訪問IP的hash結果分配,這樣來自同一IP的固定訪問一個后端服務器
url_hash	按照訪問URL的hash結果來分配請求,是每個URL定向到同一個后端服務器
least_conn	最少鏈接數,那個機器鏈接數少就分發

3.1.Nginx負載均衡[wrr]輪詢具體配置

upstream load_pass {
    server 10.0.0.7:80;
    server 10.0.0.8:80;
}

3.2.Nginx負載均衡[weight]權重輪詢具體配置

upstream load_pass {
    server 10.0.0.7:80 weight=5;
    server 10.0.0.8:80;
}

3.3.Nginx負載均衡ip_hash具體配置, 不能和weight一起使用。

如果客戶端都走相同代理, 會導致某一台服務器連接過多

upstream load_pass {
    ip_hash;
    server 10.0.0.7:80 weight=5;
    server 10.0.0.8:80;
}

4.Nginx負載均衡后端狀態

后端Web服務器在前端Nginx負載均衡調度中的狀態

狀態	概述
down	當前的server暫時不參與負載均衡
backup	預留的備份服務器
max_fails	允許請求失敗的次數
fail_timeout	經過max_fails失敗后, 服務暫停時間
max_conns	限制最大的接收連接數

4.1.測試down狀態, 測試該Server不參與負載均衡的調度

upstream load_pass {
    #不參與任何調度, 一般用於停機維護
    server 10.0.0.7:80 down;
}

4.2.測試backup以及down狀態

upstream load_pass {
    server 10.0.0.7:80 down;
    server 10.0.0.8:80 backup;
    server 10.0.0.9:80 max_fails=1 fail_timeout=10s;
}

location  / {
    proxy_pass http://load_pass;
    include proxy_params;
}

4.3.測試max_fails失敗次數和fail_timeout多少時間內失敗多少次則標記down

upstream load_pass {
    server 10.0.0.7:80;
    server 10.0.0.8:80 max_fails=2 fail_timeout=10s;
}

4.4.測試max_conns最大TCP連接數

upstream load_pass {
    server 10.0.0.7:80;
    server 10.0.0.8:80 max_conns=1;
}

5.Nginx負載均衡健康檢查

在Nginx官方模塊提供的模塊中，沒有對負載均衡后端節點的健康檢查模塊，但可以使用第三方模塊nginx_upstream_check_module來檢測后方服務的健康狀態upstream_check_module項目地址

5.1.安裝依賴包

[root@lb02 ~]# yum install -y gcc glibc gcc-c++ prce-devel openssl-devel pcre-devel patch

5.2.下載nginx源碼包以及nginx_upstream_check模塊第三方模塊

[root@lb02 ~]# wget http://nginx.org/download/nginx-1.14.2.tar.gz
[root@lb02 ~]# wget https://github.com/yaoweibin/nginx_upstream_check_module/archive/master.zip

5.3.解壓nginx源碼包以及第三方模塊

[root@lb02 ~]# tar xf nginx-1.14.2.tar.gz
[root@lb02 ~]# unzip master.zip

5.4.進入nginx目錄，打補丁(nginx的版本是1.14補丁就選擇1.14的,p1代表在nginx目錄，p0是不在nginx目錄)

[root@lb02 ~]# cd nginx-1.14.2/
[root@lb02 nginx-1.14.2]# patch -p1 <../nginx_upstream_check_module-master/check_1.14.0+.patch

5.5.編譯Nginx，需要添加upstream_check第三方模塊

[root@lb02 nginx-1.14.2]# ./configure --prefix=/etc/nginx --sbin-path=/usr/sbin/nginx --modules-path=/usr/lib64/nginx/modules --conf-path=/etc/nginx/nginx.conf --error-log-path=/var/log/nginx/error.log --http-log-path=/var/log/nginx/access.log --pid-path=/var/run/nginx.pid --lock-path=/var/run/nginx.lock --http-client-body-temp-path=/var/cache/nginx/client_temp --http-proxy-temp-path=/var/cache/nginx/proxy_temp --http-fastcgi-temp-path=/var/cache/nginx/fastcgi_temp --http-uwsgi-temp-path=/var/cache/nginx/uwsgi_temp --http-scgi-temp-path=/var/cache/nginx/scgi_temp --user=nginx --group=nginx --with-compat --with-file-aio --with-threads --with-http_addition_module --with-http_auth_request_module --with-http_dav_module --with-http_flv_module --with-http_gunzip_module --with-http_gzip_static_module --with-http_mp4_module --with-http_random_index_module --with-http_realip_module --with-http_secure_link_module --with-http_slice_module --with-http_ssl_module --with-http_stub_status_module --with-http_sub_module --with-http_v2_module --with-mail --with-mail_ssl_module --with-stream --with-stream_realip_module --with-stream_ssl_module --with-stream_ssl_preread_module --add-module=/root/nginx_upstream_check_module-master --with-cc-opt='-O2 -g -pipe -Wall -Wp,-D_FORTIFY_SOURCE=2 -fexceptions -fstack-protector-strong --param=ssp-buffer-size=4 -grecord-gcc-switches -m64 -mtune=generic -fPIC' --with-ld-opt='-Wl,-z,relro -Wl,-z,now -pie'

[root@lb02 nginx-1.14.2]# make && make install

5.6.配置nginx負載均衡，同時打開upstream健康檢查功能

[root@lb02 conf.d]# cat proxy.blog.bgx.com.conf
upstream blog.bgx.com {
    server 172.16.1.7:80;
    server 172.16.1.8:80;
    check interval=3000 rise=2 fall=3 timeout=1000 type=tcp;
    #interval檢測間隔時間，單位為毫秒
    #rsie表示請求2次正常，標記此后端的狀態為up
    #fall表示請求3次失敗，標記此后端的狀態為down
    #type  類型為tcp
    #timeout為超時時間，單位為毫秒
}

server {
    listen 80;
    server_name blog.bgx.com;

    location / {
        proxy_pass http://blog.bgx.com;
        proxy_set_header Host $http_host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    }
    location /upstream_status {
        check_status;     #開啟upstream狀態頁面
    }
}

5.7.通過訪問域名/upstream_status則能打開狀態頁面

5.8.嘗試關閉一台后端的webserver，再次打開檢查見面

6.Nginx負載均衡會話共享

在使用負載均衡的時候會遇到會話保持的問題，可通過如下方式進行解決

• 1.使用nginx的ip_hash，根據客戶端的來源IP，將請求分配到相同服務器上
• 2.基於服務端的Session會話共享（mysql/memcache/redis/file）

在解決負載均衡會話問題我們需要了解session和cookie。

• 1.用戶第一次請求服務端網站時，服務端會生成對應的session_id，然后存儲至客戶端瀏覽器的cookie中。
• 2.客戶端嘗試登陸服務端網站時，瀏覽器的請求頭自動攜帶cookie信息，在cookie信息中保存的則是session_id。
• 3.客戶端登陸服務端網站后，服務端會將session_id存儲在本地文件中, 當用戶下次請求網站時會去查詢用戶提交的cookie作為key去存儲里找對應的value(session)

注意: 同一域名下的網站登陸后cookie都是一樣的。所以無論負載后端有幾台服務器,無論請求分配到哪一台服務器上同一用戶的cookie是不會發生變化的。也就是說cookie對應的session也是唯一的。所以，這里只要保證多台業務服務器訪問同一個共享服務器(memcache/redis/mysql/file)就行了。

6.1.首先在多台web上都安裝並配置phpmyadmin

#1.安裝phpmyadmin（web01和web02上都裝）
[root@web01 conf.d]# cd /code
[root@web01 code]# wget https://files.phpmyadmin.net/phpMyAdmin/4.8.4/phpMyAdmin-4.8.4-all-languages.zip
[root@web01 code]# unzip phpMyAdmin-4.8.4-all-languages.zip

#2.配置phpmyadmin連接遠程的數據庫
[root@web01 code]# cd phpMyAdmin-4.8.4-all-languages/
[root@web01 phpMyAdmin-4.8.4-all-languages]# cp config.sample.inc.php config.inc.php
[root@web01 phpMyAdmin-4.8.4-all-languages]# vim config.inc.php
/* Server parameters */
$cfg['Servers'][$i]['host'] = '172.16.1.51';

6.2.在多台web上准備phpmyadmin的nginx配置文件

[root@web01 ~]# cat /etc/nginx/conf.d/php.conf
server {
    listen 80;
    server_name php.oldboy.com;
    root /code/phpMyAdmin-4.8.4-all-languages;

    location / {
        index index.php index.html;
    }

    location ~ \.php$ {
        fastcgi_pass 127.0.0.1:9000;
        fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;
        include fastcgi_params;
    }
}

#重啟Nginx服務
[root@web01 ~]# systemctl restart nginx

6.3.配置負載均衡服務，調度到后端兩台web節點

[root@lb01 ~]# cat /etc/nginx/conf.d/proxy_php.com.conf 
upstream php {
        server 172.16.1.7:80;
        server 172.16.1.8:80;
}
server {
        listen 80;
        server_name php.oldboy.com;
        location / {
                proxy_pass http://php;
                include proxy_params;
        }
}

#檢查語法並重啟nginx
[root@lb01 conf.d]# nginx -t
[root@lb01 conf.d]# systemctl restart nginx

6.4.准備redis內存數據庫存儲session會話

#1.安裝redis內存數據庫
[root@db01 ~]# yum install redis -y

#2.配置redis監聽在172.16.1.0網段上
[root@db01 ~]# sed  -i '/^bind/c bind 127.0.0.1 172.16.1.51' /etc/redis.conf

#3.啟動redis
[root@db01 ~]# systemctl start redis
[root@db01 ~]# systemctl enable redis

6.5.配置php連接redis服務

#1.修改/etc/php.ini文件
[root@web ~]# vim /etc/php.ini
session.save_handler = redis
session.save_path = "tcp://172.16.1.51:6379"
;session.save_path = "tcp://172.16.1.51:6379?auth=123" #如果redis存在密碼，則使用該方式

#2.注釋php-fpm.d/www.conf里面的兩條內容，否則session內容會一直寫入/var/lib/php/session目錄中
;php_value[session.save_handler] = files
;php_value[session.save_path]    = /var/lib/php/session

6.6.使用瀏覽器登陸網站，獲取對應的cookie信息

6.7.檢查redis中是否存在cookie對應的session

172.16.1.51:6379> keys *
1) "PHPREDIS_SESSION:393ff522ed2a7e26ba44f6d925f991f2"
172.16.1.51:6379>

6.8.此時用戶的cookie始終都不會發生任何變化，無論請求被負載調度到那一台后端web節點服務器都不會出現沒有登陸情況。