NGINX實現高可用

一、Linux安裝NGINX

　　在Centos下，yum源不提供nginx的安裝，可以通過切換yum源的方法獲取安裝。也可以通過直接下載安裝包的方法，以下命令均需root權限執行：首先安裝必要的庫（nginx中gzip模塊需要zlib庫，rewrite模塊需要pcre庫，ssl功能需要openssl庫）。選定/usr/local為安裝目錄，以下具體版本號根據實際改變。

　　1.1、安裝PCRE庫

$ cd /usr/local/
$ wget ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.36.tar.gz
$ tar -zxvf pcre-8.36.tar.gz
$ cd pcre-8.36
$ ./configure
$ make
$ make install

　　./configure報錯

　　configure: error: You need a C++ compiler for C++ support.

　　解決辦法：yum install -y gccgcc-c++

　　1.2、安裝zlib庫

$ cd /usr/local/ 
$ wget http://zlib.net/zlib-1.2.8.tar.gz
$ tar -zxvf zlib-1.2.8.tar.gz
$ cd zlib-1.2.8
$ ./configure
$ make
$ make install

　　1.3、安裝ssl

$ cd /usr/local/
$ wget http://www.openssl.org/source/openssl-1.0.1j.tar.gz
$ tar -zxvf openssl-1.0.1j.tar.gz
$ ./config
$ make
$ make install

　　1.3、安裝NGINX

$ cd /usr/local/
$ wget http://nginx.org/download/nginx-1.8.0.tar.gz
$ tar -zxvf nginx-1.8.0.tar.gz
$ cd nginx-1.8.0  
$ ./configure --prefix=/usr/local/nginx
$ make
$ make install

　　安裝常見錯誤:

　　　　Nginx啟動提示找不到libpcre.so.1解決方法

　　如果是32位系統

　　　　[root@lee ~]#  ln -s /usr/local/lib/libpcre.so.1 /lib

　　如果是64位系統

　　　　[root@lee ~]#  ln -s /usr/local/lib/libpcre.so.1 /lib64

　　然后在啟動nginx就OK了

　　　　[root@lee ~]# /usr/local/webserver/nginx/sbin/nginx

　　1.4、啟動NGINX

$ /usr/local/nginx/sbin/nginx

　　打開瀏覽器訪問此機器的 IP，如果瀏覽器出現 Welcome to nginx! 則表示Nginx已經安裝並運行成功。

二、NGINX的常用命令

重啟：
$ /usr/local/nginx/sbin/nginx 啟動命令
重啟：
$ /usr/local/nginx/sbin/nginx –s reload
停止：
$ /usr/local/nginx/sbin/nginx –s stop
測試配置文件是否正常：
$ /usr/local/nginx/sbin/nginx –t 
強制關閉：
$ pkillnginx

三、啟動Nginx + Keepalived

　　3.1、什么是Keepalived

　　Keepalived是一個免費開源的，用C編寫的類似於layer3, 4 & 7交換機制軟件，具備我們平時說的第3層、第4層和第7層交換機的功能。主要提供loadbalancing（負載均衡）和 high-availability（高可用）功能，負載均衡實現需要依賴Linux的虛擬服務內核模塊（ipvs），而高可用是通過VRRP協議實現多台機器之間的故障轉移服務。 

　　

　　上圖是Keepalived的功能體系結構，大致分兩層：用戶空間（user space）和內核空間（kernel space）。 
　　內核空間：主要包括IPVS（IP虛擬服務器，用於實現網絡服務的負載均衡）和NETLINK（提供高級路由及其他相關的網絡功能）兩個部份。 
　　用戶空間：

• WatchDog：負載監控checkers和VRRP進程的狀況
• VRRP Stack：負載負載均衡器之間的失敗切換FailOver，如果只用一個負載均稀器，則VRRP不是必須的。
• Checkers：負責真實服務器的健康檢查healthchecking，是keepalived最主要的功能。換言之，可以沒有VRRP Stack，但健康檢查healthchecking是一定要有的。
• IPVS wrapper：用戶發送設定的規則到內核ipvs代碼
• Netlink Reflector：用來設定vrrp的vip地址等。

　　Keepalived的所有功能是配置keepalived.conf文件來實現的。

　　3.2、安裝Keepalived

　　下載keepalived地址：http://www.keepalived.org/download.html

　　解壓安裝：

tar -zxvf keepalived-1.2.18.tar.gz -C /usr/local/
yum install -yopensslopenssl-devel（需要安裝一個軟件包）
cd keepalived-1.2.18/ && ./configure --prefix=/usr/local/keepalived
make&& make install

　　3.3、將Keepalived安裝成Linux系統服務

將keepalived安裝成Linux系統服務，因為沒有使用keepalived的默認安裝路徑（默認路徑：/usr/local）,安裝完成之后，需要做一些修改工作：
首先創建文件夾，將keepalived配置文件進行復制：
mkdir /etc/keepalived
cp /usr/local/keepalived/etc/keepalived/keepalived.conf  /etc/keepalived/
然后復制keepalived腳本文件：
cp /usr/local/keepalived/etc/rc.d/init.d/keepalived  /etc/init.d/
cp /usr/local/keepalived/etc/sysconfig/keepalived  /etc/sysconfig/
ln -s /usr/local/sbin/keepalived /usr/sbin/
ln -s /usr/local/keepalived/sbin/keepalived /sbin/
可以設置開機啟動：chkconfigkeepalived on，到此我們安裝完畢!

　　3.4、Keepalived常用命令

servicekeepalived start
servicekeepalived stop

 

四、Keepalived的配置

　　4.1、配置NGINX的主備自動重啟

　　1、對配置文件進行修改：vim /etc/keepalived/keepalived.conf

　　　　1）修改master NGINX配置

! Configuration File for keepalived

global_defs {
router_id bhz005 ##標識節點的字符串，通常為hostname
}
## keepalived會定時執行腳本並且對腳本的執行結果進行分析，動態調整vrrp_instance的優先級。這里的權重weight 是與下面的優先級priority有關，如果執行了一次檢查腳本成功，則權重會-20，也就是由100 - 20 
變成了80，Master 的優先級為80 就低於了Backup的優先級90，那么會進行自動的主備切換。
如果腳本執行結果為0並且weight配置的值大於0，則優先級會相應增加。
如果腳本執行結果不為0 並且weight配置的值小於0，則優先級會相應減少。
vrrp_scriptchk_nginx {
    script "/etc/keepalived/nginx_check.sh" ##執行腳本位置
    interval 2 ##檢測時間間隔
    weight -20 ## 如果條件成立則權重減20（-20）
}
## 定義虛擬路由 VI_1為自定義標識。
vrrp_instance VI_1 {
state MASTER   ## 主節點為MASTER，備份節點為BACKUP
## 綁定虛擬IP的網絡接口（網卡），與本機IP地址所在的網絡接口相同（我這里是eth6）
interface eth6  
virtual_router_id 172  ## 虛擬路由ID號
mcast_src_ip 192.168.1.172  ## 本機ip地址
priority 100  ##優先級配置（0-254的值）
Nopreempt  ## 
advert_int 1 ## 組播信息發送間隔，倆個節點必須配置一致，默認1s
authentication {  
auth_type PASS
auth_passbhz ## 真實生產環境下對密碼進行匹配
    }

track_script {
chk_nginx
    }

virtual_ipaddress {
        192.168.1.170 ## 虛擬ip(vip)，可以指定多個
    }
}

 

　　　　2）修改Backup NGINX配置

! Configuration File for keepalived

global_defs {
router_id bhz006
}

vrrp_scriptchk_nginx {
script "/etc/keepalived/nginx_check.sh"
interval 2
weight -20
}

vrrp_instance VI_1 {
state BACKUP
interface eth7
virtual_router_id 173
mcast_src_ip 192.168.1.173
priority 90 ##優先級配置
advert_int 1
authentication {
auth_type PASS
auth_passbhz
    }

track_script {
chk_nginx
    }

virtual_ipaddress {
        192.168.1.170
    }
}

　　　　3）nginx_check.sh 腳本

#!/bin/bash
A=`ps -C nginx–no-header |wc -l`
if [ $A -eq 0 ];then
    /usr/local/nginx/sbin/nginx
sleep 2
if [ `ps -C nginx --no-header |wc -l` -eq 0 ];then
killallkeepalived
fi
fi

　　　　4）再把master的keepalived配置文件 copy到master機器（172）的/etc/keepalived/ 文件夾下，在把backup的keepalived配置文件copy到backup機器（173）的 /etc/keepalived/ 文件夾下，最后把nginx_check.sh腳本分別copy到兩台機器的 /etc/keepalived/文件夾下。

　　　　5）nginx_check.sh腳本授權。賦予可執行權限：chmod +x /etc/keepalived/nginx_check.sh

　　　　6）啟動2台機器的nginx之后。我們啟動兩台機器的keepalived

/usr/local/nginx/sbin/nginx
servicekeepalived start
ps -ef | grepnginx
ps -ef | grepkeepalived

 　　　　7）看一下倆台機器的ip a 命令下都會出現一個虛擬ip。測試再不關閉Keepalived下，kill掉NGINX，再觀察是否重啟。關閉Keepalived下，kill掉NGINX，再觀察是否重啟。

五、集群情況下Session共享解決方案

　　5.1、集群情況下session會產生什么原因?

　　　　由於session存放在服務器端，集群下用戶可能訪問不同的服務器，則可能session無法共享。

　　5.2、Session共享解決方案

　　　　1）NGINX做的負載均衡可以綁定ip_hash，從而使同一個IP訪問同一個服務器 ------------------該方案使得集群失去意義。

　　　　2）利用數據庫同步session----------------------太過復雜

　　　　3）利用cookie同步session（保存一個session到本地，再次訪問將其帶到服務器端）----------------------安全性差、http請求都需要帶參數增加了帶寬消耗

　　　　4）使用session集群，存放到redis中（spring-session）

 　　5.3、spring-session項目，解決session共享問題

    <!--spring boot 與redis應用基本環境配置 -->
<dependency>
　　<groupId>org.springframework.boot</groupId>
　　<artifactId>spring-boot-starter-redis</artifactId>
</dependency>
<!--spring session 與redis應用基本環境配置,需要開啟redis后才可以使用，不然啟動Spring boot會報錯 -->
<dependency>
　　<groupId>org.springframework.session</groupId>
　　<artifactId>spring-session-data-redis</artifactId>
</dependency>

 

　　　　創建SessionConfig

import org.springframework.beans.factory.annotation.Value;
import org.springframework.context.annotation.Bean;
import org.springframework.data.redis.connection.jedis.JedisConnectionFactory;
import org.springframework.session.data.redis.config.annotation.web.http.EnableRedisHttpSession;

//這個類用配置redis服務器的連接
//maxInactiveIntervalInSeconds為SpringSession的過期時間（單位：秒）
@EnableRedisHttpSession(maxInactiveIntervalInSeconds = 1800)
Public class SessionConfig {

    // 冒號后的值為沒有配置文件時，制動裝載的默認值
    @Value("${redis.hostname:localhost}")
    String HostName;
    @Value("${redis.port:6379}")
    int Port;

    @Bean
    Public JedisConnectionFactory connectionFactory() {
        JedisConnectionFactory connection = new JedisConnectionFactory();
        connection.setPort(Port);
        connection.setHostName(HostName);
        return connection;
    }
}

　　　　初始化Session

//初始化Session配置
Public class SessionInitializer extends AbstractHttpSessionApplicationInitializer{
　　Public SessionInitializer() {
　　　　super(SessionConfig.class);
    }
}

　　　　控制層代碼

import javax.servlet.http.HttpServletRequest;
import javax.servlet.http.HttpSession;

import org.springframework.beans.factory.annotation.Value;
import org.springframework.boot.SpringApplication;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;

@RestController
public class SessionController {

    @Value("${server.port}")
    private String PORT;

    @RequestMapping("/index")
    public String index() {
        return "index:" + PORT;
    }

    /**
     * @methodDesc: 功能描述:(往session存放值)
     */
    @RequestMapping("/setSession")
    public String setSession(HttpServletRequest request, String sessionKey, String sessionValue) {
        HttpSession session = request.getSession(true);
        session.setAttribute(sessionKey, sessionValue);
        return "success,port:" + PORT;
    }

    /**
     * @methodDesc: 功能描述:(從Session獲取值)
     */
    @RequestMapping("/getSession")
    public String getSession(HttpServletRequest request, String sessionKey) {
        HttpSession session =null;
        try {
         session = request.getSession(false);
        } catch (Exception e) {
        e.printStackTrace();
        }
        String value=null;
        if(session!=null){
            value = (String) session.getAttribute(sessionKey);
        }
        return "sessionValue:" + value + ",port:" + PORT;
    }

}

 六、高並發解決方案

　　 業務數據庫  -》 數據水平分割(分區分表分庫)、讀寫分離

　　業務應用 -》 邏輯代碼優化(算法優化)、公共數據緩存

　　應用服務器 -》 反向靜態代理、配置優化、負載均衡(apache分發，多tomcat實例)

　　系統環境 -》 JVM調優

　　頁面優化 -》 減少頁面連接數、頁面尺寸瘦身

　　動態資源和靜態資源分離

　　CDN加速

　　服務分布式部署