首先介紹下環境部分,文章中共涉及到三台服務器,分別用 Gitlab,Jenkins,Deploy 三個名稱代替,部署在內網環境,同時因為政策原因,服務器無法直接連通外網。下載 Jenkins 插件時需要添加代理,如服務器可直接聯通外網,忽略即可。
其中服務器詳細信息如下:
| 服務器名稱 | 服務器 IP | 作用 |
|---|---|---|
| Gitlab | http://10.124.207.51/ | 代碼管理 |
| Jenkins | http://10.124.205.60/ | Jenkins 所在服務器 |
| Deploy | http://10.124.205.69/ | UTC 部署環境 |
實現功能:
Jenkins 通過監聽 GItlab 分支變化,實時更新代碼,並將編譯后的代碼部署在 UTC 環境。
實現思路:
-
在 Jenkins 所在服務器,使用 docker 安裝 Jenkins,啟動並下載所需插件。
-
通過 Jenkins 提供的管理頁面,創建管理員用戶。並配置所需憑證。
關於憑證這里詳細說下,共需要配置如下憑證:
- 配置用於訪問 Gitlab 的憑證
- 配置用於拉取 Gitlab 倉庫代碼的憑證
- 配置用於訪問 UTC 部署環境的憑證
-
創建任務,將三者連接起來。
Jenkins 安裝
這里 docker 安裝就不演示了,相關配置可參考這篇,使用 docker pull 鏡像:
docker pull jenkinsci/blueocean
運行 Jenkins :
docker run \
-u root \
-d \
-p 50001:8080 \
-p 50000:50000 \
-v /etc/localtime:/etc/localtime \
-v jenkins-data:/var/jenkins_home \
-v /var/run/docker.sock:/var/run/docker.sock \
--name jenkins \
jenkinsci/blueocean
Jenkins 插件安裝
在瀏覽器輸入 http://10.124.205.60:50001 進入 jenkins 管理頁面,之后會提示輸入密碼。
jenkins 的初始登錄密碼可進入 docker 所在的容器中,可以通過 cat /root/.jenkins/secrets/initialAdminPassword 獲取。
代理配置
由於公司 ACL 的限制,無法直接訪問外網,這時會在頁面上提示,當前 Jenkins 為離線版本,故需要配置代理:
在服務器輸入框中輸入代理地址:proxy.esl.cisco.com
端口:80
測試 URL:用於測試代理是否配置成功。
在下載插件后,可以將代理清掉,以免在內網訪問時出現問題。

插件安裝
在配置代理成功后,會提示安裝插件,這里選擇推薦的插件選項安裝。
登錄成功后,由於 Jenkins 自帶的插件中,沒有 Gitlab 和 Publish Over SSH ,需要我們手動安裝下,在 系統管理/插件管理/可選插件目錄下 ,搜索關鍵字即可。其中 GitLab Plugin 用於對 Gitlab 的訪問,Publish Over SSH 用於傳輸文件以及在目標服務器上執行命令。
憑證配置
配置 Gitlab
在 系統管理/系統配置頁面,向下滑動,找到 gitlab 的選項,該配置用於訪問 Gitlab.
Connection name: 隨便起一個連接名稱
Gitlab host URL: 為 Gitlab 的地址
Credentials:選擇一個認證的方式。因為咱們是第一次,選擇添加,類型為 Gitlab API token. 將 gitlab 的 token 粘貼到 API token 中。接着點擊添加。最后通過,點擊測試判斷是否正常。


如果不知道如何獲取 gitlab 的 token,可以參考下圖,在 Gitlab 管理頁面創建:

Git 配置
向下滑動,找到 git plugin 配置,配置上用戶名和郵箱即可:

Publish over SSH 配置
該插件的作用主要是通過 SSH 命令,操作目標服務器,實現自動部署。
SSH 連接一般有兩種方式,用戶名密碼或公私匙的方式,下面用公私匙的方式操作:
# 首先進入 Jenkins 所在的 docker 容器
docker exec -it jenkins /bin/bash
# 生成公私匙,需要注意的是新版本的格式 Jenkins 插件不支持,請使用 PEM 這種格式
ssh-keygen -t rsa -b 4096 -m PEM
# 將公匙拷貝至目標服務器
ssh-copy-id -i .ssh/id_rsa.pub root@10.124.205.69
下面開始配置 Jenkins:
Passphrase: 這個是在生成 ssh key 時,輸入的密碼,不填寫就行。
Path to key: 這個是 ssh 私匙文件所在的絕對位置,當填寫下面的 Key 不填寫即可。
Key:生成的私匙密碼
SSH Server 配置:
Name:隨便起名就可以
Username:ssh 登錄的用戶名
Remote Directory:這個一定要填寫根路徑,之后的操作都會基於該路徑。
可點擊 `Test Configuration` 是否配置成功,點擊應用,保存即可。

Jenins Job 配置
在首頁上,點擊新建任務。輸入任務名稱,類型選擇第一個,構建一個自由風格的軟件項目,點擊確定,任務就創建完成了。
然后將鼠標放在名稱這列,可以看到一個小三角,點擊展開后,對任務進行配置:

源碼配置
選擇源碼管理,選擇 Git,用於獲取源代碼。這里簡單提一下,之前配置的 Gitlab 用於對 Gitlab 的訪問,而這里配置的 GIt 用於對某個倉庫進行訪問。
這里需要將之前生成 ssh 公匙放到 Gitlab 的 SSH Keys 中,將 ssh 私匙放在當前的 key 中。用於拉取代碼。

將公匙放入 Gitlab 中:

接着點擊應用和保存。
構建觸發器的配置
觸發器的作用就是在什么情況下,會開始執行該任務。這里配置的是輪詢 SCM 系統,也就是 Gitlab 分支的內容出現變化時,觸發任務,輪詢的時間為 1s.

構建配置
構建的作用在獲取 SCM 上的代碼后,執行的操作:
執行 shell: 注意這里編寫的 shell 的運行環境是在 jenkins 所在容器內部的。
選擇添加 Sendfiles or execute commands over SSH:
Name: 這里選擇,之前建好用於訪問目標服務器的憑證
Source files: **/*.* 表示遞歸傳輸文件夾下的包含 . 的所有文件
Remote directory: 表示傳送的目標目錄
Exec command: 表示所有文件傳輸成功后,在目標服務器執行的 shell 命令。

下面是服務器中執行的腳本,用於編譯代碼以及重啟服務。
# 注意添加可執行權限
chmod +x deploy_shell.sh
cat deploy_shell.sh
#!/bin/bash
# constant
containerName="ctg_backend"
WORKING_DIR="/home/yuwzhang/docker-compose/project/temp_build"
TODAY=`date +%Y-%m-%d.%H:%M:%S`
echo "Enter deploy script..."
echo "\nStep1: Copy data to docker web container.."
# delete old dir
if [ -d "$WORKING_DIR" ]; then rm -Rf $WORKING_DIR; fi
# cp new dir
cp -r /home/yuwzhang/jenkins/project /home/yuwzhang/docker-compose/project/temp_build
echo "\nStep2: Enter web container and build py files to bytecode.."
docker exec $containerName bash -c "cd /src/temp_build && python -m compileall -b . && find . -name '*.py' |xargs rm -rf && find . -name 'pycache' |xargs rm -rf"
cp /home/yuwzhang/docker-compose/project/gunicorn_config.py /home/yuwzhang/docker-compose/project/temp_build/gunicorn_config.py
cp -r /home/yuwzhang/docker-compose/project/frontend /home/yuwzhang/docker-compose/project/temp_build/frontend
echo "\nStep3: Stop web services.."
cd /home/yuwzhang/docker-compose
docker-compose stop web
echo "\nStep4: replace new project dir to old project dir.."
mv project/temp_build new_build
mv project project_`date +%Y-%m-%d.%H:%M:%S`
mv new_build project
echo "\nStep5: Start web services.."
docker-compose start web
echo "\nStep6: check web services status.."
sleep 20s
exist=`docker inspect --format '{{.State.Status}}' ${containerName}`
echo "web status is $exist"
現在,一個基礎版的 CI/CD 流程就搭建完了,可以通過 Blue Ocean 來觀察任務的執行情況:

設置時間
在運行 Jenkins 容器時,已經掛載了宿主機的時間到容器內,可是發現 Jenkins 顯示的時間還是不正確,在容器內查看時間是正常的,也許和 Jenkins 的配置有關,在系統管理/腳本命令行中執行如下命令,時間就恢復正常了。
System.setProperty('org.apache.commons.jelly.tags.fmt.timeZone', 'Asia/Shanghai')
