物聯網架構成長之路(47)-利用GitLab實現CI持續集成

0.前言
　　前段時間，考慮到要練習部署一套CI/CD的系統。一開始考慮到Jenkins，隨着這兩天的了解，發現最新版的GitLab已經提供有CI/CD集成了。所以本次博客，干脆一步到位，直接用GitLab里面的CI/CD模塊。Jenkins可能需要更高級的應用場合。經過測試GitLab自帶的功能完全符合我的需求。

1. 安裝GitLab和GitLab-CI(gitlab-runner)
　　英語比較好的，可以直接看官方文檔。https://docs.gitlab.com/omnibus/docker/#install-gitlab-using-docker-compose https://docs.gitlab.com/ee/ci/quick_start/README.html
　　下面提供我使用的 docker-compose.yml

version: '3'
services:
    gitlab:
        image: twang2218/gitlab-ce-zh:latest
        #image: gitlab/gitlab-ce:rc
        restart: always
        hostname: '172.16.23.203'
        environment:
            GITLAB_OMNIBUS_CONFIG: |
                external_url 'http://172.16.23.203:8929'
                gitlab_rails["time_zone"] = "Asia/Shanghai"
        ports:
            - 8929:8929
            - 1080:80
            - 1443:443
            - 1022:22
        volumes:
            - /root/workspace/docker/gitlab/1/config:/etc/gitlab
            - /root/workspace/docker/gitlab/1/logs:/var/log/gitlab
            - /root/workspace/docker/gitlab/1/data:/var/opt/gitlab
    gitlab-runner:
        image: gitlab/gitlab-runner:latest
        restart: always
        volumes:
            - /root/workspace/docker/gitlab/2/config:/etc/gitlab-runner
            - /var/run/docker.sock:/var/run/docker.sock

　　執行docker-compose up -d 就運行起來，幾點需要說明的
　　　　1. gitlab的image，可以選擇中文版或者英文版
　　　　2. hostname 這里指定本機IP地址
　　　　3. gitlab環境變量，external_url表示提供訪問的IP和端口，時區配置上海
　　　　4. 端口映射，默認是80端口，由於我上面配置了8929，所以映射8929到Host主機
　　　　5. volumes 配置持久化數據
　　　　6. 這里的/var/run/docker.sock 要映射到主機，因為會用到主機的一些資源，同時還會在docker里面安裝docker
　　下面是運行效果，第一次運行會比較久，因為要拉取鏡像和初始化GitLab

2. 登錄使用GitLab
　　首次登錄，設置密碼。 登錄默認用戶名是root
　　利用模版，新建一個Spring項目

　　利用IDE，或者其他工具，或者直接在GitLab修改代碼

3. 配置CI/CD，把機器（gitlab-runner）注冊到GitLab中
　　可以在項目配置CI/CD機器，也可以在個人所有項目下配置，也可以由管理員配置所有項目下CI/CD機器。原理和流程都是一樣的，只是比Jenkins更加細粒度控制而已。

　　進入gitlab-runner的Docker，執行初始化命令 gitlab-ci-multi-runner register，完整命令如下：

sudo docker exec -it gitlab-runner gitlab-ci-multi-runner register

　　需要錄入的信息，安裝上圖進行，填寫，后續還可以修改。

　　如果需要修改，可以修改之前volumes配置的路徑下, config/config.toml

 

concurrent = 1
check_interval = 0

[session_server]
  session_timeout = 1800

[[runners]]
  name = "myRunner"
  url = "http://172.16.23.203:8929/"
  token = "96beefdaa54832b0c8369ffa3811c9"
  executor = "docker"
  [runners.custom_build_dir]
  [runners.docker]
    tls_verify = false
    image = "docker:latest"
    privileged = true
    disable_entrypoint_overwrite = false
    oom_kill_disable = false
    disable_cache = false
    volumes = ["/cache", "/root/.m2:/root/.m2", "/var/run/docker.sock:/var/run/docker.sock"]
    shm_size = 0
  [runners.cache]
    [runners.cache.s3]
    [runners.cache.gcs]

 

　　上面這個是配置文件，里面有幾個注意點
　　　　1. privileged 這里要配置 true，因為要在docker里面安裝docker
　　　　2. /root/.m2 這個是配置maven的倉庫使用宿主主機的緩存，這樣就不用每次CI都要下載依賴
　　　　3. /var/run/docker.sock 這個也要配置，在構建dockerfile的時候會用到
　　還有一個需要配置的就是，這個Runner需要設置tag，這個是標識Runner的名稱。在.gitlab-ci.yml中會用到

4. 配置CI/CD
　　默認GitLab是啟用該功能的，根目錄配置新增 .gitlab-ci.yml 文件，然后每次git push，都會觸發CI持續集成。當然可以在yml配置，在主線master觸發。
　　來個簡單的配置，測試一下

image: maven:3-jdk-8
cache:
    paths:
        - .m2/repository
test:
    stage: test
    script:
        - mvn package
    tags:
        - tag

　　上面這個配置，寫到.gitlab-ci.yml然后提交到repo，我們提交該文件到gitlab對應項目上去。

git add .gitlab-ci.yml
git commit -m "Add .gitlab-ci.yml"
git push origin master

　　如果嫌慢，pom.xml 可以換個阿里源

        <repository>
            <id>maven-ali</id>
            <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
            <releases>
                <enabled>true</enabled>
            </releases>
            <snapshots>
                <enabled>true</enabled>
                <updatePolicy>always</updatePolicy>
                <checksumPolicy>fail</checksumPolicy>
            </snapshots>
        </repository>

　　一提交，就會觸發自動構建

　　可以看到整個構建過程，如果出現錯誤，也是到這個日志里面排查問題。

 

 

5. 測試、打包、發布
　　這一步，我們實現一個簡單的測試、打包、發布
5.1 增加 Dockerfile

FROM openjdk:8-jdk-alpine
VOLUME /tmp
COPY  target/demo-0.0.1-SNAPSHOT.jar app.jar
ENV PORT 5000
EXPOSE $PORT
ENTRYPOINT ["java","-Djava.security.egd=file:/dev/./urandom","-Dserver.port=${PORT}","-jar","/app.jar"]

5.2 修改 .gitlab-ci.yml

image: maven:3-jdk-8

variables:
    DOCKER_TAG: test/demo-spring:0.1

cache:
    paths:
        - .m2/repository

stages:
    - test
    - package
    - deploy

test:
    stage: test
    tags:
        - tag
    script:
        - mvn test

package:
    stage: package
    tags:
        - tag
    script:
        - mvn clean package -Dmaven.test.skip=true
    artifacts:
        paths:
            - target/*.jar

deploy:
    image: docker:latest
    stage: deploy
    services:
        - docker:dind
    tags:
        - tag
    script:
        - docker version 
        - docker build -t $DOCKER_TAG .
        - docker rm -f test || true
        - docker run -d --name test -p 5000:5000 $DOCKER_TAG

　　那個artifacts.paths 配置，提交target目錄下的文件到下一個流水線，因為不同流水線，由於是基於Docker，所以每一步都是隔離的。同時，上傳的附件還可以在構建成功后，在流水線pipelines界面進行下載。每一步的image都是可以指定的，那個tags也是可以指定的。可以提交到不同的機器進行構建。
　　上面一共就三步流程，先test（測試），然后package（打包編譯），最后deploy（發布測試）。前兩個比較好理解，就是maven的基本命令。最后那個deploy就是利用docker里面的docker來進行打包成docker，然后運行起來，作為測試發布。
　　更新代碼.gitlab-ci.yml，然后提交，觸發持續集成。

　　查看構建日志

　　查看宿主機鏡像和運行狀態

　　查看瀏覽器，已經發布到測試環境了

5.3 釘釘通知

image: maven:3-jdk-8

variables:
    DOCKER_TAG: test/demo-spring:0.1

cache:
    paths:
        - .m2/repository

stages:
    - test
    - package
    - deploy
    - notify

test:
    stage: test
    tags:
        - tag
    script:
        - mvn test

package:
    stage: package
    tags:
        - tag
    script:
        - mvn clean package -Dmaven.test.skip=true
    artifacts:
        paths:
            - target/*.jar

deploy:
    image: docker:latest
    stage: deploy
    services:
        - docker:dind
    tags:
        - tag
    script:
        - docker version 
        - docker build -t $DOCKER_TAG .
        - docker rm -f test || true
        - docker run -d --name test -p 5000:5000 $DOCKER_TAG

notify:
    image: appropriate/curl:latest
    stage: notify
    tags:
        - tag
    script: "curl 'https://oapi.dingtalk.com/robot/send?access_token=d6c15304c1***************************************' -H 'Content-Type: application/json' -d '{\"msgtype\": \"text\", \"text\": {\"content\": \"功能已更新部署至測試環境\"}}' "

　　有了這個通知，就可以做很多事情了，寫個腳本，封裝成一個Docker 鏡像，可以發送釘釘，發送郵件，可以對接到第三方系統等。

　　更多高級應用，如集成之前了解的Harbor，Rancher。使整個系統更加強大，更加智能化。

 

參考資料
　　https://cloud.tencent.com/developer/article/1010595
　　https://www.cnblogs.com/Sinte-Beuve/p/11582511.html
　　https://my.oschina.net/u/2303182/blog/3072694/
　　https://docs.gitlab.com/omnibus/docker/#install-gitlab-using-docker-compose
　　https://docs.gitlab.com/ee/ci/quick_start/README.html

本文地址：https://www.cnblogs.com/wunaozai/p/11865362.html
本系列目錄： https://www.cnblogs.com/wunaozai/p/8067577.html
個人主頁：https://www.wunaozai.com/