Keepalived-2.0.0編譯安裝和啟動方式詳解

一、編譯安裝Keepalived         

Keepalived是一個免費開源的，用C編寫的類似於layer3, 4 & 7交換機制軟件，具備我們平時說的第3層、第4層和第7層交換機的功能。主要提供loadbalancing（負載均衡）和high-availability（高可用）功能，負載均衡實現需要依賴Linux的虛擬服務內核模塊（ipvs），而高可用是通過VRRP協議實現多台機器之間的故障轉移服務。

 

上圖是Keepalived的功能體系結構，大致分兩層：用戶空間（user space）和內核空間（kernel space）。 
內核空間：主要包括IPVS（IP虛擬服務器，用於實現網絡服務的負載均衡）和NETLINK（提供高級路由及其他相關的網絡功能）兩個部份。 

用戶空間：

• WatchDog：負載監控checkers和VRRP進程的狀況
• VRRP Stack：負載負載均衡器之間的失敗切換FailOver，如果只用一個負載均稀器，則VRRP不是必須的。
• Checkers：負責真實服務器的健康檢查healthchecking，是keepalived最主要的功能。換言之，可以沒有VRRP Stack，但健康檢查healthchecking是一定要有的。
• IPVS wrapper：用戶發送設定的規則到內核ipvs代碼
• Netlink Reflector：用來設定vrrp的vip地址等。

二、官網下載源碼包（2018-5-26 最新版keepalived-2.0.0.tar.gz）

http://www.keepalived.org/download.html

cd /usr/local/src
wget http://www.keepalived.org/software/keepalived-1.2.0.tar.gz
tar xf keepalived-2.0.0.tar.gz 
cd keepalived-2.0.0
./configure  --prefix=/application/keepalived-2.0.0

1.系統出現警告信息 “

checking for a BSD-compatible install... /usr/bin/install -c
checking whether build environment is sane... configure: error: newly created file is older than distributed files!
Check your system clock

”此報錯是由於系統時間與硬件時間不一致導致的。

**************************************************************

linux系統的時間分為系統時間 和 硬件時間。 
硬件時間 就是指RTC中的時間，hwclock命令就是對這個時間操作。 
系統時間 是系統開機時讀取硬件時間作為系統的時間，此后系統時鍾獨立運作，在系統關機時再將系統時間寫回RTC。

date命令只操作系統時間，hwclock操作硬件時鍾，在date 修改時間后 最好用hwclock 同步一下，以免系統非正常關機造成時間不同步。

[root@Web01 src]# date 
Sun Mar 19 09:35:08 CST 2017
[root@Web01 src]# hwclock 
Tue 03 Jul 2018 10:19:17 PM CST  -0.458468 seconds

同步時間，寫入CMOS:

[root@Web01 src]# ntpdate ntp1.aliyun.com
 3 Jul 14:28:12 ntpdate[79878]: step time server 120.25.115.20 offset 40711428.938760 sec
[root@Web01 src]# date 
Tue Jul  3 14:28:19 CST 2018
[root@Web01 src]# hwclock 
Tue 03 Jul 2018 10:28:23 PM CST  -0.860282 seconds
[root@Web01 src]# hwclock 
Tue 03 Jul 2018 10:28:36 PM CST  -0.641474 seconds

問題解決!!!!　　

2. 系統出現警告信息

!!! OpenSSL is not properly installed on your system. !!!
!!! Can not include OpenSSL headers files. !!!

解決方法：

[root@Web01 keepalived-2.0.0]# yum install -y openssl openssl-devel

3. 系統出現警告信息

“*** WARNING - this build will not support IPVS with IPv6. Please install libnl/libnl-3 dev libraries to support IPv6 with IPVS.”，具體日志如下：

Keepalived configuration
------------------------
Keepalived version       : 2.0.0
Compiler                 : gcc
Preprocessor flags       : 
Compiler flags           : -Wall -Wunused -Wstrict-prototypes -Wextra -Winit-self -g -O2 -D_GNU_SOURCE -fPIE -Wformat -Werror=format-security -Wp,-D_FORTIFY_SOURCE=2 -fexceptions --param=ssp-buffer-size=4
Linker flags             :  -pie
Extra Lib                :  -lcrypto  -lssl 
Use IPVS Framework       : Yes
IPVS use libnl           : No
IPVS syncd attributes    : No
IPVS 64 bit stats        : No
fwmark socket support    : Yes
Use VRRP Framework       : Yes
Use VRRP VMAC            : Yes
Use VRRP authentication  : Yes
With ip rules/routes     : Yes
Use BFD Framework        : No
SNMP vrrp support        : No
SNMP checker support     : No
SNMP RFCv2 support       : No
SNMP RFCv3 support       : No
DBUS support             : No
SHA1 support             : No
Use Json output          : No
libnl version            : None
Use IPv4 devconf         : No
Use libiptc              : No
Use libipset             : No
init type                : upstart
Build genhash            : Yes
Build documentation      : No

*** WARNING - this build will not support IPVS with IPv6. Please install libnl/libnl-3 dev libraries to support IPv6 with IPVS.

解決方法：執行yum命令yum -y install libnl libnl-devel解決上述警告問題

[root@Web01 keepalived-2.0.0]# yum -y install libnl libnl-devel　

4. 系統出現錯誤信息

“configure: error: libnfnetlink headers missing”，具體日志如下：

checking for nl_socket_modify_cb in -lnl... yes
checking for linux/rtnetlink.h... yes
checking libnfnetlink/libnfnetlink.h usability... no
checking libnfnetlink/libnfnetlink.h presence... no
checking for libnfnetlink/libnfnetlink.h... no
configure: error: libnfnetlink headers missing

解決方法： yum install -y libnfnetlink-devel

安裝完成以后，重新執行configure命令

[root@Web01 keepalived-2.0.0]# ./configure --prefix=/application/keepalived-2.0.0

三、編譯Keepalived過程中上述報錯等問題解決后，沒有其他報錯，執行編譯並安裝

[root@Web01 keepalived-2.0.0]# make && make install
[root@Web01 keepalived-2.0.0]# echo $?
0

創建軟連接（方便以后軟件版本升級）
[root@Web01 keepalived-2.0.0]# ln -s /application/keepalived-2.0.0/ /application/keepalived

四、將Keepalived注冊為系統服務

[root@Web01 keepalived-2.0.0]# mkdir /etc/keepalived/
[root@Web01 keepalived-2.0.0]# cp /usr/local/src/keepalived-2.0.0/keepalived/etc/init.d/keepalived /etc/init.d/
[root@Web01 keepalived-2.0.0]# cp /usr/local/src/keepalived-2.0.0/keepalived/etc/sysconfig/keepalived /etc/sysconfig/
[root@Web01 keepalived-2.0.0]# cp /usr/local/src/keepalived-2.0.0/keepalived/etc/keepalived/keepalived.conf /etc/keepalived/

這樣就可以執行service keepalived [start | stop | reload | restart ]命令。（/etc/init.d/ [start | stop | reload | restart ]）

 啟動報“Starting keepalived: /bin/bash: keepalived: command not found”錯誤，具體日志如下：

[root@yoodb /]# service keepalived start
正在啟動 keepalived：/bin/bash: keepalived: command not found
                                                           [失敗]

解決方法：

cp /usr/local/src/keepalived-2.0.0/bin/keepalived /usr/sbin

重新執行如下輸出后，表示啟動成功

[root@m01 keepalived-2.0.0]# /etc/init.d/keepalived start
Starting keepalived: 
[root@m01 keepalived-2.0.0]# /etc/init.d/keepalived stop
Stopping keepalived:                                       [  OK  ]
[root@m01 keepalived-2.0.0]# /etc/init.d/keepalived start
Starting keepalived:                                       [  OK  ]
[root@m01 keepalived-2.0.0]# /etc/init.d/keepalived restart
Stopping keepalived:                                       [  OK  ]
Starting keepalived:                                       [  OK  ]
[root@m01 keepalived-2.0.0]# /etc/init.d/keepalived reload
Reloading keepalived: 
                                     [  OK  ]
加入開機啟動
[root@m01 keepalived-2.0.0]# chkconfig keepalived on
[root@m01 keepalived-2.0.0]# chkconfig --list keepalived
keepalived 0:off	1:off	2:on	3:on	4:on	5:on	6:off

五、Keepalived啟動參數說明

使用service keepalived start命令啟動服務時，默認會將/etc/sysconfig/keepalived文件中KEEPALIVED_OPTIONS參數作為keepalived服務啟動時的參數，並從/etc/keepalived/目錄下加載keepalived.conf配置文件，或用-f參數指定配置文件的位置。

# Options for keepalived. See `keepalived --help' output and keepalived(8) and
# keepalived.conf(5) man pages for a list of all options. Here are the most
# common ones :
#
# --vrrp               -P    Only run with VRRP subsystem.
# --check              -C    Only run with Health-checker subsystem.
# --dont-release-vrrp  -V    Dont remove VRRP VIPs & VROUTEs on daemon stop.
# --dont-release-ipvs  -I    Dont remove IPVS topology on daemon stop.
# --dump-conf          -d    Dump the configuration data.
# --log-detail         -D    Detailed log messages.日志默認輸出在/var/log/message文件中
# --log-facility       -S    0-7 Set local syslog facility (default=LOG_DAEMON)
#
KEEPALIVED_OPTIONS="-D

　運行keepalived --help可以查看啟動時的可選參數，這些可選參數都可以配置在/etc/sysconfig/keepalived文件中的KEEPALIVED_OPTIONS選項中，作為服務啟動時的參數。　

keepalived正常運行后，會啟動3個進程，其中一個是父進程，負責監控其子進程。一個是vrrp子進程，另外一個是checkers子進程。

[root@m01 keepalived-2.0.0]# /application/keepalived/sbin/keepalived -f /application/keepalived/etc/keepalived/keepalived.conf   #檢查配置參數
[root@m01 keepalived-2.0.0]# ps -ef |grep keep
root      22642      1  0 16:55 ?        00:00:00 keepalived -D
root      22644  22642  0 16:55 ?        00:00:00 keepalived -D
root      22645  22642  0 16:55 ?        00:00:00 keepalived -D

到此keepalived就安裝完成了。

六、keepalived.conf配置文件說明

       keepalived服務安裝完成之后，后面的主要工作就是在keepalived.conf文件中配置HA和負載均衡。

完整的keepalived配置文件，主要包含三塊：全局定義塊、VRRP實例定義塊和虛擬服務器定義塊。全局定義塊是必須的，如果keepalived只用來做ha，虛擬服務器是可選的。

#全局定義塊
global_defs {
    # 郵件通知配置
    notification_email {
        email1
        email2
    }
    notification_email_from email
    smtp_server host
    smtp_connect_timeout num

    lvs_id string
    router_id string    ## 標識本節點的字條串,通常為hostname
}

#VRRP 實例定義塊
vrrp_sync_group string { 
    group {
        string
        string
    }
}

vrrp_instance string {
    state MASTER|BACKUP
    virtual_router_id num
    interface string
    mcast_src_ip @IP 
    priority num
    advert_int num
    nopreempt
    smtp_alert
    lvs_sync_daemon_interface string 
    authentication {
        auth_type PASS|AH
        auth_pass string
    }

    virtual_ipaddress {  # Block limited to 20 IP addresses @IP
        @IP
        @IP
    }
}

#虛擬服務器定義塊
virtual_server (@IP PORT)|(fwmark num) { 
    delay_loop num
    lb_algo rr|wrr|lc|wlc|sh|dh|lblc 
    lb_kind NAT|DR|TUN
    persistence_timeout num 
    protocol TCP|UDP
    real_server @IP PORT { 
        weight num
        notify_down /path/script.sh
        TCP_CHECK { 
            connect_port num 
            connect_timeout num
        }
    }

    real_server @IP PORT {
        weight num
        MISC_CHECK {
            misc_path /path_to_script/script.sh(or misc_path “/path_to_script/script.sh <arg_list>”)
        }
    }

    real_server @IP PORT {
        weight num
        HTTP_GET|SSL_GET {
            url { 
                # You can add multiple url block path alphanum
                digest alphanum
            }
            connect_port num
            connect_timeout num 
            nb_get_retry num 
            delay_before_retry num
        }
    }
}

　　

全局定義塊

1、email通知（notification_email、smtp_server、smtp_connect_timeout）：用於服務有故障時發送郵件報警，可選項，不建議用。需要系統開啟sendmail服務，建議用第三獨立監控服務，如用Zabbix全面監控代替。 
2、lvs_id：lvs負載均衡器標識，在一個網絡內，它的值應該是唯一的。 
3、router_id：用戶標識本節點的名稱，通常為hostname 
4、花括號｛｝：用來分隔定義塊，必須成對出現。如果寫漏了，keepalived運行時不會得到預期的結果。由於定義塊存在嵌套關系，因此很容易遺漏結尾處的花括號，這點需要特別注意。

VRRP實例定義塊

1. vrrp_sync_group：同步vrrp級，用於確定失敗切換（FailOver）包含的路由實例個數。即在有2個負載均衡器的場景，一旦某個負載均衡器失效，需要自動切換到另外一個負載均衡器的實例是哪
2. group：至少要包含一個vrrp實例，vrrp實例名稱必須和vrrp_instance定義的一致
3. vrrp_instance：vrrp實例名 
   1> state：實例狀態，只有MASTER 和 BACKUP兩種狀態，並且需要全部大寫。搶占模式下，其中MASTER為工作狀態，BACKUP為備用狀態。當MASTER所在的服務器失效時，BACKUP所在的服務會自動把它的狀態由BACKUP切換到MASTER狀態。當失效的MASTER所在的服務恢復時，BACKUP從MASTER恢復到BACKUP狀態。 
   2> interface：對外提供服務的網卡接口，即VIP綁定的網卡接口。如：eth0，eth1。當前主流的服務器都有2個或2個以上的接口（分別對應外網和內網），在選擇網卡接口時，一定要核實清楚。 
   3> mcast_src_ip：本機IP地址 
   4> virtual_router_id：虛擬路由的ID號，每個節點設置必須一樣，可選擇IP最后一段使用，相同的 VRID 為一個組，他將決定多播的 MAC 地址。 
   5> priority：節點優先級，取值范圍0～254，MASTER要比BACKUP高 
   6> advert_int：MASTER與BACKUP節點間同步檢查的時間間隔，單位為秒 
   7> lvs_sync_daemon_inteface：負載均衡器之間的監控接口,類似於 HA HeartBeat 的心跳線。但它的機制優於 Heartbeat，因為它沒有“裂腦”這個問題,它是以優先級這個機制來規避這個麻煩的。在 DR 模式中，lvs_sync_daemon_inteface與服務接口interface使用同一個網絡接口 
   8> authentication：驗證類型和驗證密碼。類型主要有 PASS、AH 兩種，通常使用PASS類型，據說AH使用時有問題。驗證密碼為明文，同一vrrp 實例MASTER與BACKUP使用相同的密碼才能正常通信。 
   9> smtp_alert：有故障時是否激活郵件通知 
   10> nopreempt：禁止搶占服務。默認情況，當MASTER服務掛掉之后，BACKUP自動升級為MASTER並接替它的任務，當MASTER服務恢復后，升級為MASTER的BACKUP服務又自動降為BACKUP，把工作權交給原MASTER。當配置了nopreempt，MASTER從掛掉到恢復，不再將服務搶占過來。 
   11> virtual_ipaddress：虛擬IP地址池，可以有多個IP，每個IP占一行，不需要指定子網掩碼。注意：這個IP必須與我們的設定的vip保持一致。

虛擬服務器virtual_server定義塊

1. virtual_server：定義一個虛擬服務器，這個ip是virtual_ipaddress中定義的其中一個，后面一個空格，然后加上虛擬服務的端口號。 
   1> delay_loop：健康檢查時間間隔，單位：秒 
   2> lb_algo：負載均衡調度算法，互聯網應用常用方式為wlc或rr 
   3> lb_kind：負載均衡轉發規則。包括DR、NAT、TUN 3種，一般使用路由（DR）轉發規則。 
   4> persistence_timeout：http服務會話保持時間，單位：秒 
   5> protocol：轉發協議，分為TCP和UDP兩種
2. real_server：真實服務器IP和端口，可以定義多個 
   1> weight：負載權重，值越大，轉發的優先級越高 
   2> notify_down：服務停止后執行的腳本 
   3> TCP_CHECK：服務有效性檢測 
   * connect_port：服務連接端口 
   * connect_timeout：服務連接超時時長，單位：秒 
   * nb_get_retry：服務連接失敗重試次數 
   * delay_before_retry：重試連接間隔，單位：秒