搭建DevOps模式的項目

在后端的開發領域，各類開發框架都已經很多，在開發項目時可以根據不同的需要和需求選擇合適的開發框架。然而在需要開發一個完善的工程化項目時，僅僅一個后端開發框架是不夠的，還面臨着在對開發項目的快速迭代中進行測試，部署，監控等問題。為了解決這些問題，DevOps的開發模式應運而生。

基於個人對DevOps的理解，搭建了一個基於Gin的開源后端項目來實踐下DevOps的各個概念：https://github.com/wanghaoxi3000/advproject。

DevOps是一個寬泛的概念，這個項目也只是拋磚引玉，在測試環境下串聯起各個DevOps的基礎工具，存在的不足歡迎指出，一起學習和交流。

如何構建DevOps模式的項目

什么是DevOps呢，對DevOps比較官方的定義如下：

DevOps 集文化理念、實踐和工具於一身，可以提高組織高速交付應用程序和服務的能力，與使用傳統軟件開發和基礎設施管理流程相比，能夠幫助組織更快地發展和改進產品。這種速度使組織能夠更好地服務其客戶，並在市場上更高效地參與競爭。

可以說DevOps是一組過程、方法與系統的統稱，涉及到開發中的組織架構，開發工具，基礎架構等等方面。但它的一個核心便是強調通過各類自動化的工具來自動執行軟件交付和基礎架構更改流程，從而快速、頻繁且更可靠地構建、測試和發布軟件。這里也將主要圍繞這個思想來構建DevOps的項目。

在這個基礎項目中，將主要圍繞如下部分的Devops實踐進行構建：

• 持續集成：一種軟件開發實踐經驗，開發人員會定期將他們的代碼變更合並到一個中央存儲庫中，之后系統會自動運行構建和測試操作。
• 持續交付：自動構建和測試代碼更改，並為將其發布到生產環境做好准備，實現對持續集成的擴展。
• 基礎設施即代碼：使用基於代碼的工具來連接基礎設施，並且能夠以處理應用程序代碼的方式來處理基礎設施。基礎設施和服務器由代碼進行定義。
• 監控和日志記錄：組織對各項指標和日志進行監控，以了解應用程序和基礎設施性能如何影響其產品的最終用戶體驗。

整個項目的開發流程如下：

開發工具及環境

要完成從開發到部署的一系列的流程，當然也少不了各種自動化工具及環境的支持，本項目所使用的環境如下：

1. 代碼開發環境Go 1.13
2. Github賬戶
3. 容器倉庫，本項目使用騰訊雲容器服務
4. Jenkins 2.190
5. Kubernetes 本項目使用基於k8s v1.16.1的三節點集群

DevOps項目開發流程

通過advproject這個基於Gin的后端項目的代碼更新、提交、完成對項目的自動化測試、打包、部署的流程。

后端項目

advproject項目主要包含了如下部分：

• 接口文檔 swag
• 日志 zap
• 配置 godotenv
• docker容器化文件 Dockerfile
• Jenkinsflie Jenkinsfile
• Kubernetes部署文件 deployment-template.yaml

整個代碼的結構如下

.
├── Dockerfile                  // Docker鏡像打包文件
├── Jenkinsfile                 // Jenkins CI 定義
├── README.md
├── api
│   └── status.go               // 運行狀態接口
├── config
│   ├── base.go                 // 基礎配置
│   └── init.go                 // 配置模塊初始化
├── deployment-template.yaml    // Kubernetes部署模板文件
├── docs                        // swag 接口文檔
│   ├── docs.go
│   ├── swagger.json
│   └── swagger.yaml
├── go.mod
├── go.sum
├── main.go
├── serializer
│   └── common.go               // 接口格式定義
├── server
│   └── router.go               // 路由
├── test
│   └── status_test.go          // 測試代碼
└── util
    └── logger.go               // 日志模塊

Jenkins CI配置

在代碼有更新時，提交代碼到Github后，Jenkins會收到代碼Github推送通知，拉取代碼並讀取代碼中的Jenkinsfile文件來運行指定的流程。

可通過如下命令docker來快速運行一個Jenkins。為了在Jenkins容器中使用docker命令，將docker命令映射到了容器中，同時指定以root身份來運行容器。

docker run --name=jenkins_lts -d -u root -v jenkins_home:/var/jenkins_home -v /var/run/docker.sock:/var/run/docker.sock -v $(which docker):/bin/docker -p 8080:8080 -p 50000:50000 -e JAVA_OPTS=-Duser.timezone=Asia/Shanghai jenkins/jenkins:lts

在Jenksin容器啟動完成並成功登陸后，可以點擊主界面右下角的Jenkins 中文社區鏈接，然后更新中心鏡像設置為國內源，加快插件的下載速度。

環境配置

本項目中主要使用到這些Jenkins插件，可以在插件管理頁面中搜索安裝：

• Blue Ocean 方便和Pipeline搭配使用
• Kubernetes Cli Plugin 通過kubectl操控k8s集群

在執行部署的推送鏡像、通知等過程中，需要使用到不方便暴露在代碼中的密鑰，如何在Jenkinsfile中使用這些密鑰呢？可以提前在Jenkins的憑據管理中錄入這些密鑰，Jenkinsfile中以變量的方式進行調用。這里配置了如下的憑證：

• tcloud-docker-reg 鏡像倉庫登錄密鑰
• kubctl-config kubectl密鑰
• PUSH_KEY 基於Server醬通知推送的密鑰

建立項目

通過Jenkinsfile文件以代碼聲明的方式來定義持續集成的流程，需要在Jenkins中建立一個 Pipeline流水線項目。

選擇新建任務，輸入任務名建立一個流水線項目：

General選項卡中勾選GitHub項目，並填入項目地址：

在代碼推送后，使用GitHub的webhook功能推送代碼更新消息，需要在構建觸發器中勾選GitHub hook trigger for GITScm polling：

此后還需要在GitHub的代碼項目中配置webhook推送更新的地址，相關文章已有很多，這里就不再累述了。

最后，在流水線配置中填入代碼地址：

指定分支中默認為*/master，表示拉取master分支的更新，如果想要拉取指定tag的代碼。可以按這樣的格式來配置：+refs/tags/*:refs/remotes/origin/tags/*。

運行一下，可以看見Jenkins開始啟動並運行了。

通過Blue Ocean，可以看見更詳細的運行圖。

推送結果

推送的結果將通過Server醬推送到綁定的微信中。Server醬是一個很方便的微信推送服務，只需要綁定下GitHub賬戶，之后請求對應地址即可向微信推送消息。推送的信息包含本次集成的結果和代碼更新的記錄，集成結果在Jenkinsfile中可以通過${currentBuild.result}來獲取。代碼更新記錄Jenkins沒有對應的變量，可以通過運行git log --pretty=format:\'%h - %an,%ar : %s\' --since=\'1 hours\' | head -n 1來獲取代碼最近一次的變更記錄。

部署到Kubernetes

項目每次更新完成，同通過Jenkins拉取代碼測試無誤后，將會把項目打包成鏡像並以build-${BUILD_NUMBER}作為tag，並推送到騰訊雲的私有鏡像倉庫中，${BUILD_NUMBER}是Jenkins運行任務時的環境變量，表示運行本次集成任務的序號。之后以項目中deployment-template.yaml為模板，替換對應變量后部署到k8s集群上。

Jenkins pipeline 執行完成后登錄集群節點，運行kubectl get pods，可以看到剛剛部署上的項目，已全處於了Running狀態了。

NAME                          READY   STATUS    RESTARTS   AGE
advproject-6f5d4d7d5d-pwmrp   1/1     Running   0          33s
advproject-6f5d4d7d5d-zscz2   1/1     Running   0          19s

為了便於測試，快速訪問集群中的服務，可以按如下配置啟動一個NodePort的Service，將Pod的端口暴露出來。

apiVersion: v1
kind: Service
metadata:
  name: advproject-svc
spec:
  type: NodePort
  ports:
  - port: 3000
    targetPort: 3000
    protocol: TCP
  selector:
    app: advproject

通過kubectl get service可以看到NodePode分配的端口號為30942：

NAME             TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)          AGE
advproject-svc   NodePort    10.110.152.165   <none>        3000:30942/TCP   25d

在節點上運行curl localhost:30942/api/v1/hostname，可以查看到項目對應的hostname，由於部署的Deployment文件中設置的replicas: 2，項目部署的節點數為2，請求的hostname也會隨機出現兩種。

日志監控

進入k8s的dashboard，在側邊欄選擇容器組，可以看見運行項目的兩個容器的，點擊日志可以在網頁中分別查看每個容器的控制台日志。這里可以看到剛剛請求hostname接口的日志，以及k8s在定時請求status接口進行健康檢查。

為了更好的收集和分析日志，這里將通過k8s的ELK插件，來統一收集日志。克隆k8s對應版本的代碼，使用k8s項目/cluster/addons/fluentd-elasticsearch目錄下的示例代碼，使用kubectl apply -f .命令可以快速部署一個ELk插件。

部署完成后，登錄kibana，創建一個默認的 logstash-* pattern。

稍等一會，就可以Discover菜單下看到ElasticSearch logging中匯聚的日志，在Filters中搜索Gin，可以看到本項目的日志了。

總結

至此，一個以DevOps模式的項目開發流程便大致完成了。當然這個過程也還有很多可以繼續完善的地方，比如生成更詳細的代碼測試報表、使用kibana生成日志報表、監測代碼中的錯誤日志並報警等等。通過DevOps，將開發、測試、運維這些步驟緊密聯系了起來，使得構建、測試、發布軟件能夠更加地快捷、頻繁和可靠。除了這些技術和工具，DevOps也更需要組織中各個部門之間的進行良好的溝通、協作與整合。在實際開發中，需要通過各個部門的分工合作，開發人員編寫業務和單元測試代碼；測試人員設計測試用例，關注代碼測試報告；運維人員設計Kubernetes部署模板，監控系統及日志數據，這樣才能發揮DevOps的最大效力，更好地為客戶服務並在市場中更有競爭力。