持續集成之⑤:jenkins結合腳本實現代碼自動化部署及一鍵回滾至上一版本
一:本文通過jenkins調用shell腳本的的方式完成從Git服務器獲取代碼、打包、部署到web服務器、將web服務器從負載均衡器刪除、解壓、復制配置文件、創建軟連接、測試每一台web服務器、將web服務器添加至負載均衡、回滾到任意指定版本、一鍵回滾到上一版本等功能,腳本放在www用戶家目錄並使用www用戶身份執行,每個web服務器也都使用www用戶運行web服務,且UID相同web目錄和權限都一致,更嚴格的標准化可以帶來更安全的生產環境和更高的效率:
1.1:在jenkins項目配置中調用shell腳本與環境准備:
1.1.1:#jenkins-項目-配置:
1.1.2:www用戶家目錄中的腳本內容:
$ cat code_deploy.sh #!/bin/bash #Dir List 部署節點(即部署節點需要做的操作) # mkdir -p /deploy/code/web-demo # mkdir -p /deploy/config/web-demo/base # mkdir -p /deploy/config/web-demo/other # mkdir /deploy/tmp # mkdir /deploy/tar # chown -R www.www /deploy # chown -R www.www /webroot # chown -R www.www /opt/webroot/ # chown -R www.www /webroot # 需要在客戶端節點做的操作 # mkdir /opt/webroot # mkdir /webroot # chown -R www.www /webroot # chown -R www.www /opt/webroot/ # chown -R www.www /webroot # [www@ ~]$ touch /webroot/web-dem # Node List 服務器節點 PRE_LIST="192.168.3.12" # 預生產節點 GROUP1_LIST="192.168.3.12 192.168.3.13" GROUP2_LIST="192.168.3.13" ROLLBACK_LIST="192.168.3.12 192.168.3.13" # 日志日期和時間變量 LOG_DATE='date "+%Y-%m-%d"' # 如果執行的話后面執行的時間,此時間是不固定的,這是記錄日志使用的時間 LOG_TIME='date "+%H-%M-%S"' # 代碼打包時間變量 CDATE=$(date "+%Y-%m-%d") # 腳本一旦執行就會取一個固定時間賦值給變量,此時間是固定的 CTIME=$(date +"%H-%M-%S") # shell env 腳本位置等變量 SHELL_NAME="deploy.sh" # 腳本名稱 SHELL_DIR="/home/www/" # 腳本路徑 SHELL_LOG="${SHELL_DIR}/${SHELL_NAME}.log" # 腳本執行日志文件路徑 # code env 代碼變量 PRO_NAME="web-demo" # 項目名稱的函數 CODE_DIR="/deploy/code/web-demo" # 從版本管理系統更新的代碼目錄 CONFIG_DIR="/deploy/config/web-demo" # 保存不同項目的配置文件,一個目錄里面就是一個項目的一個配置文件或多個配置文件 TMP_DIR="/deploy/tmp" # 臨時目錄 TAR_DIR="/deploy/tar" # 打包目錄 LOCK_FILE="/tmp/deploy.lock" # 鎖文件路徑 usage(){ # 使用幫助函數 echo $"Usage: $0 [ deploy | rollback [ list | emergency | version ]" } writelog(){ # 寫入日志的函數 LOGINFO=$1 # 將參數作為日志輸入 echo "${CDATE} ${CTIME} : ${SEHLL_NAME} : ${LOGINFO}" >> ${SHELL_LOG} } # 鎖函數 shell_lock(){ touch ${LOCK_FILE} } # 解鎖函數 shell_unlock(){ rm -f ${LOCK_FILE} } # 獲取代碼的函數 code_get(){ echo "code_get" writelog code_get cd $CODE_DIR && git pull # 進入到代碼目錄更新代碼,此處必須免密碼更新,此目錄僅用於代碼更新不能放其他任何文件 cp -rf ${CODE_DIR} ${TMP_DIR}/ # 臨時保存代碼並重命名,包名為時間+版本號,准備復制到web服務器 API_VERL=$(git show | grep commit | cut -d ' ' -f2) API_VER=$(echo ${API_VERL:0:8}) # 版本號 } code_build(){ # 代碼編譯函數 echo code_build } code_config(){ # 配置文件函數 writelog "code_config" /bin/cp -rf ${CONFIG_DIR}/base/* ${TMP_DIR}/"${PRO_NAME}" # 將配置文件放在本機保存配置文件的臨時目錄,用於暫時保存代碼項目 PKG_NAME="${PRO_NAME}"_"$API_VER"_"${CDATE}-${CTIME}" # 定義代碼目錄名稱 cd ${TMP_DIR} && mv ${PRO_NAME} ${PKG_NAME} # 重命名代碼文件為web-demo_123-20170629-11-19-10格式 } code_tar(){ # 對代碼打包函數 writelog code_tar cd ${TMP_DIR} && tar czf ${PKG_NAME}.tar.gz ${PKG_NAME} --exclude=".git" # 將目錄打包成壓縮文件,便於網絡傳輸 writelog "${PKG_NAME}.tar.gz packaged success" # 記錄打包成功的日志 } code_scp(){ # 代碼壓縮包scp到客戶端的函數 writelog "code_scp" for node in $PRE_LIST;do # 循環服務器節點列表 scp ${TMP_DIR}/${PKG_NAME}.tar.gz $node:/opt/webroot/ # 將壓縮后的代碼包復制到web服務器的/opt/webroot done for node in $GROUP1_LIST;do # 循環服務器節點列表 scp ${TMP_DIR}/${PKG_NAME}.tar.gz $node:/opt/webroot/ # 將壓縮后的代碼包復制到web服務器的/opt/webroot done } cluster_node_add(){ #將web服務器添加至前端負載 echo cluster_node_add } cluster_node_remove(){ # 將web服務器從集群移除函數(正在部署的時候應該不處理業務) writelog "cluster_node_remove" } url_test(){ URL=$1 curl -s --head $URL |grep '200 OK' if [ $? -ne 0 ];then shell_unlock; writelog "test error" && exit; fi } pre_deploy(){ # 代碼解壓部署函數,預生產節點 writelog "pre_deploy" for node in ${PRE_LIST};do # 循環預生產服務器節點列表 cluster_node_remove ${node} # 部署之前將節點從前端負載刪除 echo "pre_deploy, cluster_node_remove ${node}" ssh ${node} "cd /opt/webroot && tar zxf ${PKG_NAME}.tar.gz" #分別到web服務器執行壓縮包解壓命令 ssh ${node} "rm -f /webroot/web-demo && ln -s /opt/webroot/${PKG_NAME} /webroot/web-demo" # 整個自動化的核心,創建軟連接 done } pre_test(){ # 預生產主機測試函數 for node in ${PRE_LIST};do # 循環預生產主機列表 curl -s --head http://${node}:9999/index.html | grep "200 OK" # 測試web界面訪問 if [ $? -eq 0 ];then # 如果訪問成功 writelog " ${node} Web Test OK!" # 記錄日志 echo " ${node} Web Test OK!" cluster_node_add ${node} # 測試成功之后調用添加函數把服務器添加至節點, writelog "pre,${node} add to cluster OK!" # 記錄添加服務器到集群的日志 else # 如果訪問失敗 writelog "${node} test no OK" # 記錄日志 echo "${node} test not OK" shell_unlock # 調用刪除鎖文件函數 break # 結束部署 fi done } group1_deploy(){ # 代碼解壓部署函數 writelog "group1_code_deploy" for node in ${GROUP1_LIST};do # 循環生產服務器節點列表 cluster_node_remove $node echo "group1, cluster_node_remove $node" ssh ${node} "cd /opt/webroot && tar zxf ${PKG_NAME}.tar.gz" # 分別到各web服務器節點執行壓縮包解壓命令 ssh ${node} "rm -f /webroot/web-demo && ln -s /opt/webroot/${PKG_NAME} /webroot/web-demo" # 整個自動化的核心,創建軟連接 done scp ${CONFIG_DIR}/other/192.168.3.13.server.xml 192.168.3.13:/webroot/web-demo/server.xml # 將差異項目的配置文件scp到此web服務器並以項目結尾 } group1_test(){ # 生產主機測試函數 for node in ${PRE_LIST};do # 循環生產主機列表 curl -s --head http://${node}:9999/index.html | grep "200 OK" #測試web界面訪問 if [ $? -eq 0 ];then #如果訪問成功 writelog " ${node} Web Test OK!" #記錄日志 echo "group1_test,${node} Web Test OK!" cluster_node_add writelog " ${node} add to cluster OK!" #記錄將服務器 添加至集群的日志 else #如果訪問失敗 writelog "${node} test no OK" #記錄日志 echo "${node} test no OK" shell_unlock # 調用刪除鎖文件函數 break # 結束部署 fi done } emergency_code_get(){ #獲取代碼的函數 writelog "code_get" cd ${CODE_DIR} && git reset --hard HEAD^ #進入到代碼目錄更新代碼,此處必須免密碼更新,此目錄僅用於代碼更新不能放其他任何文件 /bin/cp -rf ${CODE_DIR} ${TMP_DIR}/ #臨時保存代碼並重命名,包名為時間+版本號,准備復制到web服務器 API_VERL=$(git show | grep commit | cut -d ' ' -f2) API_VER=$(echo ${API_VERL:0:8}) #取八位 } emergency(){ #緊急回退到上一個版本函數 emergency_code_get #執行將代碼回退到上一個版本函數 code_build; #如果要編譯執行編譯函數 code_config; #cp配置文件 code_tar; #打包 code_scp; #scp到服務器 cluster_node_remove; pre_deploy; #預生產環境部署 pre_test; #預生產環境測試 group1_deploy; #生產環境部署 group1_test; #生產環境測試 code_config; #cp差異文件 #code_test; #代碼測試 shell_unlock #執行完成后刪除鎖文件 } rollback_fun(){ for node in $ROLLBACK_LIST;do # 循環服務器節點列表 # 注意一定要加"號,否則無法在遠程執行命令 ssh $node "rm -f /webroot/web-demo && ln -s /opt/webroot/$1 /webroot/web-demo" # 立即回滾到指定的版本,$1即指定的版本參數 echo "${node} rollback success!" done } rollback(){ # 代碼回滾主函數 if [ -z $1 ];then shell_unlock # 刪除鎖文件 echo "Please input rollback version" && exit 3; fi case $1 in # 把第二個參數做當自己的第一個參數 list) ls -l /opt/webroot/*.tar.gz ;; *) rollback_fun $1 esac } main(){ if [ -f $LOCK_FILE ] ;then # 先判斷鎖文件在不在,如果有鎖文件直接退出 echo "Deploy is running" && exit 10 fi DEPLOY_METHOD=$1 # 避免出錯誤將腳本的第一個參數作為變量 ROLLBACK_VER=$2 case $DEPLOY_METHOD in deploy) # 如果第一個參數是deploy就執行以下操作 shell_lock; # 執行部署之前創建鎖。如果同時有其他人執行則提示鎖文件存在 code_get; # 獲取代碼 code_build; # 如果要編譯執行編譯函數 code_config; # cp配置文件 code_tar; # 打包 code_scp; # scp到服務器 pre_deploy; # 預生產環境部署 pre_test; # 預生產環境測試 group1_deploy; # 生產環境部署 group1_test; # 生產環境測試 shell_unlock; # 執行完成后刪除鎖文件 ;; rollback) # 如果第一個參數是rollback就執行以下操作 shell_lock; # 回滾之前也是先創建鎖文件 rollback $ROLLBACK_VER; shell_unlock; # 執行完成刪除鎖文件 ;; emergency) emergency; #緊急回退就不需要參數了,但是在執行的時候要確認一下是否要緊急回退,避免輸入錯誤 ;; *) usage; esac } main $1 $2
1.1.4:修改當前web頁面:
[www@master ~]$ cd web-demo [www@master web-demo]$ echo "<h1>jenkins deploy test" > index.html [www@master web-demo]$ git add index.html [www@master web-demo]$ git commit -m "jenkins deploy test" [master 9a43cf5] jenkins deploy test 1 file changed, 1 insertion(+), 1 deletion(-) [www@master web-demo]$ git push -u origin master Counting objects: 5, done. Compressing objects: 100% (2/2), done. Writing objects: 100% (3/3), 276 bytes | 0 bytes/s, done. Total 3 (delta 1), reused 0 (delta 0) To git@192.168.3.198:web/web-demo.git beb37cb..9a43cf5 master -> master Branch master set up to track remote branch master from origin.
1.4:回滾到任意版本:
1.4.1:在哪看回滾到的版本?:
$ ll /deploy/tmp/ #部署服務器,web服務器在nginx定義的目錄查看版本
1.4.3:在jenkins執行回滾:
[root@slave01 ~]# ll /opt/webroot/ total 20672 drwxr-xr-x 5 www www 4096 Jun 26 11:36 web-demo_123_2017-06-26-11-36-44 -rw-rw-r-- 1 www www 1243347 Jun 28 22:03 web-demo_123_2017-06-26-11-36-44.tar.gz drwxr-xr-x 5 www www 4096 Jun 26 11:39 web-demo_123_2017-06-26-11-39-02 -rw-rw-r-- 1 www www 1243347 Jun 28 22:06 web-demo_123_2017-06-26-11-39-02.tar.gz drwxr-xr-x 5 www www 4096 Jun 26 12:04 web-demo_123_2017-06-26-12-04-19 -rw-rw-r-- 1 www www 1243351 Jun 28 22:31 web-demo_123_2017-06-26-12-04-19.tar.gz drwxr-xr-x 5 www www 4096 Jun 26 12:16 web-demo_123_2017-06-26-12-16-49 -rw-rw-r-- 1 www www 1243347 Jun 28 22:43 web-demo_123_2017-06-26-12-16-49.tar.gz drwxr-xr-x 5 www www 4096 Jun 26 12:18 web-demo_123_2017-06-26-12-18-09 -rw-rw-r-- 1 www www 1243347 Jun 28 22:45 web-demo_123_2017-06-26-12-18-09.tar.gz drwxr-xr-x 5 www www 4096 Jun 26 12:18 web-demo_123_2017-06-26-12-18-57 -rw-rw-r-- 1 www www 1243369 Jun 28 22:46 web-demo_123_2017-06-26-12-18-57.tar.gz -rw-rw-r-- 1 www www 45 Jun 29 06:21 web-demo__2017-06-30-14-28-54.tar.gz drwxrwxr-x 2 www www 4096 Jun 30 14:30 web-demo__2017-06-30-14-30-22 -rw-rw-r-- 1 www www 130 Jun 29 06:23 web-demo__2017-06-30-14-30-22.tar.gz drwxrwxr-x 2 www www 4096 Jun 30 14:31 web-demo__2017-06-30-14-31-53 -rw-rw-r-- 1 www www 219 Jun 29 06:24 web-demo__2017-06-30-14-31-53.tar.gz drwxrwxr-x 4 www www 4096 Jun 30 14:59 web-demo_75463f1b_2017-06-30-14-59-58 -rw-rw-r-- 1 www www 1236456 Jun 29 06:52 web-demo_75463f1b_2017-06-30-14-59-58.tar.gz drwxrwxr-x 4 www www 4096 Jun 30 15:05 web-demo_75463f1b_2017-06-30-15-05-57 -rw-rw-r-- 1 www www 1236450 Jun 29 06:58 web-demo_75463f1b_2017-06-30-15-05-57.tar.gz drwxrwxr-x 4 www www 4096 Jul 10 14:01 web-demo_75463f1b_2017-07-10-14-01-34 -rw-rw-r-- 1 www www 1236446 Jul 10 14:01 web-demo_75463f1b_2017-07-10-14-01-34.tar.gz drwxrwxr-x 4 www www 4096 Jun 30 15:18 web-demo_78869143_2017-06-30-15-18-29 -rw-rw-r-- 1 www www 1236465 Jun 29 07:11 web-demo_78869143_2017-06-30-15-18-29.tar.gz drwxrwxr-x 4 www www 4096 Jul 10 14:00 web-demo_78869143_2017-07-10-14-00-35 -rw-rw-r-- 1 www www 1236453 Jul 10 14:00 web-demo_78869143_2017-07-10-14-00-35.tar.gz drwxrwxr-x 3 www www 4096 Jun 30 14:14 web-demo_91d09cc2_2017-06-30-14-14-42 -rw-rw-r-- 1 www www 1236371 Jun 29 06:06 web-demo_91d09cc2_2017-06-30-14-14-42.tar.gz drwxrwxr-x 3 www www 4096 Jun 30 14:15 web-demo_91d09cc2_2017-06-30-14-15-16 -rw-rw-r-- 1 www www 1236382 Jun 29 06:08 web-demo_91d09cc2_2017-06-30-14-15-16.tar.gz drwxrwxr-x 4 www www 4096 Jul 10 14:08 web-demo_9a43cf55_2017-07-10-14-08-46 -rw-rw-r-- 1 www www 1233708 Jul 10 14:08 web-demo_9a43cf55_2017-07-10-14-08-46.tar.gz drwxrwxr-x 4 www www 4096 Jun 30 15:21 web-demo_b8f3be43_2017-06-30-15-21-55 -rw-rw-r-- 1 www www 1236454 Jun 29 07:14 web-demo_b8f3be43_2017-06-30-15-21-55.tar.gz drwxrwxr-x 4 www www 4096 Jul 10 12:34 web-demo_b8f3be43_2017-07-10-12-34-00 -rw-rw-r-- 1 www www 1236462 Jul 10 12:34 web-demo_b8f3be43_2017-07-10-12-34-00.tar.gz drwxrwxr-x 4 www www 4096 Jun 30 14:57 web-demo_dcfb44f0_2017-06-30-14-57-10 -rw-rw-r-- 1 www www 1236447 Jun 29 06:50 web-demo_dcfb44f0_2017-06-30-14-57-10.tar.gz
1.4.2:回滾任意版本就將版本的參數傳遞給腳本,腳本會將web-demo的鏈接重新指向傳遞的版本(參數),比如我要回滾到web-demo_78869143_2017-06-30-15-18-29這個版本,則jenkins的配置為:
1.4.3:在jenkins執行回滾:
1.4.4:執行回滾的信息:
1.4.5:訪問web界面測試任意版本回滾是否成功: