git+jenkins+k8s 自動化部署運維----轉發

之前說過各家公司的CICD落地方案不同，五花八門，之前說過java的微服務，k8s的集群環境，在這位基礎，包括代碼的編譯，代碼的提交，單元測試服務的發布，關鍵的節點自動化起來。

 

 

 

Jenkins

java編寫的開源的工具，jenkins比較靈活，可以通過插件的方式，添加所需要的插件，除了擴展性還支持多台機器的分布式構建，jenkins的用戶群很龐大，可以說是目前最主流的部署工具。

梳理流程git+jenkins+k8s

1. 客戶端發起代碼push到gitlab上
2. gitlab配置了webhook的東西，它可以出發jenkins的構建
3. jenkins做的事情就比較多
4. 3.1 構建代碼
5. 3.2 靜態分析
6. 3.3 單元測試
7. 3.4 build鏡像
8. 3.5 推送push鏡像倉庫
9. 3.6 調用k8s的api
10. k8s拉取鏡像倉庫的進行部署。

GitLab安裝（101這台主機）

源碼中server01

• 下載鏡像

$ docker pull gitlab/gitlab-ce:latest

 

 

 

• 運行GitLab容器

使用docker命令運行容器，注意修改hostname為自己喜歡的名字，-v部分掛載目錄要修改為自己的目錄。

端口映射這里使用的都是安全端口，如果大家的環境沒有端口限制或沖突可以使用與容器同端口，如：-p 443:443 -p 80:80 -p 22:22

• 生成啟動文件 - start.sh

cat <<EOF > start.sh
#!/bin/bash
HOST_NAME=gitlab.idig8.com
GITLAB_DIR=`pwd`
docker stop gitlab
docker rm gitlab
docker run -d \\
 --hostname \${HOST_NAME} \\
 -p 8443:443 -p 8080:80 -p 2222:22 \\
 --name gitlab \\
 -v \${GITLAB_DIR}/config:/etc/gitlab \\
 -v \${GITLAB_DIR}/logs:/var/log/gitlab \\
 -v \${GITLAB_DIR}/data:/var/opt/gitlab \\
 gitlab/gitlab-ce:latest
EOF

 

 

 

• 運行start.sh 啟動gitlab

sh start.sh

 

 

 

• 配置環境

修改host文件，使域名可以正常解析

192.168.66.101 gitlab.idig8.com

 

 

 

 

• 修改ssh端口（如果主機端口使用的不是22端口）

修改文件：${GITLAB_DIR}/config/gitlab.rb

找到這一行：# gitlab_rails['gitlab_shell_ssh_port'] = 22

把22修改為你的宿主機端口（這里是2222）。然后將注釋去掉。

 

 

 

• 重新啟動容器

sh start.sh

 

 

 

GitLab試用

地址：
http://gitlab.idig8.com:8080/

• 設置管理員密碼

首先根據提示輸入管理員密碼，這個密碼是管理員用戶的密碼。對應的用戶名是root，用於以管理員身份登錄Gitlab。

 

 

 

• 創建賬號

設置好密碼后去注冊一個普通賬號

 

 

 

• 創建項目

注冊成功后會跳到首頁，我們創建一個項目，名字大家隨意

 

 

 

 

 

 

• 添加ssh key

項目建好了，我們加一個ssh key，以后本地pull/push就簡單啦

 

 

 

首先去到添加ssh key的頁面

 

 

 

然后拿到我們的sshkey 貼到框框里就行啦

怎么拿到呢？看下面：

#先看看是不是已經有啦，如果有內容就直接copy貼過去就行啦
cat ~/.ssh/id_rsa.pub
#如果上一步沒有這個文件 我們就創建一個，運行下面命令（郵箱改成自己的哦），一路回車就好了
ssh-keygen -t rsa -C "[e-mail]"
cat ~/.ssh/id_rsa.pub

 

 

 

 

 

PS：目的是本地push的時候沒有權限問題，方便直接提交代碼到gitlab上。

• 測試一下
• 點開我們剛創建的項目，復制ssh的地址

添加個文件試試（我的項目叫microservice）

#clone代碼
cd existing_folder
git init
git remote add origin ssh://[e-mail]:2222/liming/microservice.git
git add .
git commit -m "Initial commit"
git push -u origin master

 

 

 

 

 

 

 

 

 

Jenkins安裝（102這台主機）

源碼中server02

• 下載鏡像

docker pull stephenreed/jenkins-java8-maven-git

 

 

 

• 運行Jenkins容器

使用docker命令運行容器，注意修改hostname為自己喜歡的名字，-v部分掛載目錄要修改為自己的目錄。

端口映射這里使用的都是安全端口，如果大家的環境沒有端口限制或沖突可以使用與容器同端口，如：-p 443:443 -p 80:80 -p 22:22

• 生成啟動文件 - startJenkins.sh

cat <<EOF > startJenkins.sh
#!/bin/bash
HOST_NAME=jenkins.idig8.com
GITLAB_DIR=/root
docker stop jenkins
docker rm jenkins
docker run -d \
 --hostname ${HOST_NAME} \
 -p 8888:8080 -p 50000:50000 \
 --name jenkins \
 -v ${GITLAB_DIR}/jenkins/:/etc/localtime:ro \
 -P stephenreed/jenkins-java8-maven-git
EOF

 

 

 

• 運行startJenkins.sh 啟動gitlab

sh startJenkins.sh

 

 

 

• 配置環境

修改host文件，使域名可以正常解析

192.168.66.102 jenkins.idig8.com

 

 

 

• 查看初始化秘鑰

docker ps 
docker exec -it f3111725cd64 /bin/bash
cat /var/jenkins_home/secrets/initialAdminPassword

 

 

 

頁面輸入剛才的秘鑰

 

 

 

• 選擇插件

 

 

 

其他默認，Pipelines全選

 

 

 

 

 

 

 

 

 

 

涉及到跨域，需要關閉，系統管理-全局安全

 

 

 

PS：可能有的插件安裝不了，不要慌老鐵，進入到jenkins的管理頁面會提示你更新jenkins更新下，然后插件又可以自動下載安裝完畢了。

了解git代碼提交完成jenkins的構建

進入項目選擇settings里面的Integrations

 

 

 

這里可以配置一個url，默認的trigger觸發器push的時候，

 

 

 

這里的url地址是哪里來的。請查看jenkins，因為本身gitlab里面的微服務比較多，選擇其中的一個服務吧，新建一個任務名稱：user-edge-service，允許url遠程觸發構建任務。

 

 

 

 

 

Jenkins中的Job配置里缺少 觸發遠程構建（例如，使用腳本） 選項的

 

 

 

如圖所示的功能沒有出現在Job配置頁面，這是由於權限問題導致的：

 

 

 

關閉防止跨站點請求偽造

 

 

 

gitlab的Integrations的URL地址修改：

http://192.168.66.102:8888/job/user-edge-service/build?token=123456

 

 

 

 

 

gitlab設置Webhooks報錯Urlis blocked: Requests to localhost are not allowed。admin 登錄設置

 

 

 

 

 

 

 

 

 

gitlab的Integrations，添加完畢。

 

 

 

jenkins的添加完畢

 

 

 

 

• 測試一把

 

 

 

返回201，說明構建返回成功。

 

 

 

 

 

 

 

構建說明

咱們的所有構建都是基於pipline的，腳本是用groovy來做的，如果老鐵有不會的可以查看，可以流水線語法。

 

 

 

 

 

• 開始pipline的編寫

Jenkins Pipeline是一套插件，支持將連續輸送Pipeline實施和整合到Jenkins。Pipeline 提供了一組可擴展的工具，用於通過Pipeline DSL為代碼創建簡單到復雜的傳送Pipeline 。

 

 

 

寫個測試的試試

#!groovy
pipeline {
//之前說過jenkins是支持集群的，但是咱們這里不需要集群的方式，因為有了k8s。any在任何可用的agent 上執行
 agent any
 //環境變量，
 environment {
 REPOSITORY="ssh://git@192.168.66.101:2222/liming/microservice.git"
 
 }
 //流水線是如何提前，都是通過很多個stages下面的stage
 stages {
 stage('獲取代碼'){
 steps{
 echo " start fetch code from git ssh://git@192.168.66.101:2222/liming/microservice.git"
 deleteDir()
 git "${REPOSITORY}"
 }
 }
 }
}

 

 

 

點擊立即構建，然后查看效果

 

 

 

 

 

 

 

jenkins所在容器未配置，秘鑰到gitlab上，來一起配置下

 

 

 

進入102的主機上

docker ps
docker exec -it d918e00a583f /bin/bash
ssh-keygen -t rsa -C "[e-mail]"
cat /root/.ssh/id_rsa.pub

 

 

 

 

 

在容器內試試看能git clone 不

 

 

 

在試試，立刻構建

 

 

 

 

 

查看目錄

 

 

 

需要配置maven倉庫地址，當前這個鏡像nds國內不識別，在容器內需要操作

echo "nameserver 8.8.8.8" | tee /etc/resolv.conf > /dev/null
apt-get update
apt-get install vim
cd /opt/maven/conf
vi settings.xml
mkdir /usr/lib/jvm/java-8-openjdk-amd64/lib

通過更換maven鏡像可以解決此問題，在maven安裝目錄下/opt/maven/conf的conf/settings.xml文件內<mirrors>增加一段更改鏡像地址為阿里雲的maven，在mvn compile可解決此問題

<mirror>
<id>nexus-aliyun</id>
<mirrorOf>*</mirrorOf>
<name>Nexus aliyun</name>
<url>http://maven.aliyun.com/nexus/content/groups/public</url>
</mirror>

如果出現這個錯誤，就是找不到tool.jar直接復制一個tool.jar，源碼包里面我復制的有。

[ERROR] Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:2.3.2:compile (default-compile) on project message-thrift-service-api: Compilation failure
[ERROR] Unable to locate the Javac Compiler in:
[ERROR] /usr/lib/jvm/java-8-openjdk-amd64/jre/../lib/tools.jar
[ERROR] Please ensure you are using JDK 1.4 or above and
[ERROR] not a JRE (the com.sun.tools.javac.Main class is required).
[ERROR] In most cases you can change the location of your Java
[ERROR] installation by setting the JAVA_HOME environment variable.

復制命令

 yum install lrzsz
#rz 選擇tool.jar
docker cp tool.jar 容器ID:/usr/lib/jvm/java-8-openjdk-amd64/jre/../lib/tools.jar
···
![](https://upload-images.jianshu.io/upload_images/11223715-27d864caa1b8bffa.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)
>配置環境變量
``` bash
docker exec -it 容器ID /bin/bash
vi ~/.bashrc
#配置下面的環境變量
set JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export PATH=${JAVA_HOME}/bin:$PATH 

 

 

 

 

 

• 在此嘗試構建

#!groovy
pipeline {
//之前說過jenkins是支持集群的，但是咱們這里不需要集群的方式，因為有了k8s。any在任何可用的agent 上執行
 agent any
 //環境變量，
 environment {
 REPOSITORY="ssh://git@192.168.66.101:2222/liming/microservice.git"
 MODULE="user-edge-service"
 
 }
 //流水線是如何提前，都是通過很多個stages下面的stage
 stages {
 stage('獲取代碼'){
 steps{
 echo " start fetch code from git ssh://192.168.66.101:2222/liming/microservice.git"
 deleteDir()
 git "${REPOSITORY}"
 }
 }
 stage('編譯+單元測試') {
 steps{
 echo " start compile"
 sh "mvn -U -pl ${MODULE} -am clean package"
 }
 }
 }
}

 

 

 

jenkins完成推送到官網鏡像

1. 創建build-imge文件
2. docker login登錄到docker倉庫中（之前已經說過了，我的機器內存比較小，無法啟動私有的docker倉庫我通過的官網的，不管哪個都在jenkins的機器上登錄下，push的時候就不報錯了）

cd ~
vi build-image.sh
chmod 775 build-image.sh
docker login

 

 

 

#!groovy
pipeline {
//之前說過jenkins是支持集群的，但是咱們這里不需要集群的方式，因為有了k8s。any在任何可用的agent 上執行
 agent any
 //環境變量，
 environment {
 REPOSITORY="ssh://git@192.168.66.101:2222/liming/microservice.git"
 MODULE="user-edge-service"
 SCRIPT_PATH="/root/"
 
 }
 //流水線是如何提前，都是通過很多個stages下面的stage
 stages {
 stage('獲取代碼'){
 steps{
 echo " start fetch code from git ssh://192.168.66.101:2222/liming/microservice.git"
 deleteDir()
 git "${REPOSITORY}"
 }
 }
 stage('代碼靜態檢查') {
 steps{
 echo " start code check"
 }
 }
 stage('編譯+單元測試') {
 steps{
 echo " start compile"
 sh "mvn -U -pl ${MODULE} -am clean package"
 }
 }
 stage('構建鏡像') {
 steps{
 echo " start build image"
 sh "#{SCRIPT_PATH}/build-image.sh ${MODULE}"
 }
 }
 
 stage('發布系統') {
 steps{
 echo " start deploy"
 sh "#{SCRIPT_PATH}/deploy.sh ${MODULE} ${MODULE}"
 }
 }
 
 }
}

build-image.sh

#!/bin/bash
MODULE=$1
TIME=`date "+%Y%m%d%H%M"`
GIT_REVISION=`git log -1 --pretty=format:"%h"`
IMAGE_NAME=zhugeaming/${MODULE}:${TIME}_${GIT_REVISION}
cd ${MODULE}
docker build -t ${GIT_REVISION} .
docker push ${GIT_REVISION}

deply.sh

#!/bin/bash
IMAGE=`cat IMAGE_NAME`
DEPLOYMENT=$1
MODULE=$2
echo "update image to ${IMAGE}"
kubectl set image deployment/${DEPLOYMENT} ${MODULE} =${MODULE}

PS：最后總結下，建議jenkins不要使用容器安裝，我用容器安裝入了至少十幾個坑，對了解命令還是有好處的。我總結幾點

1. 不要容器化jenkins，直接在機器上安裝就可以了。容器本身都是單個個體，你想想里面還要裝jdk，mvn，docker。如果jenkins容器化，等於容器里面還要裝docker是不是很蛋疼。
2. 使用pipline寫腳本其實很簡單本身就是流水線，比較負責命令建議使用shell腳本的方式，這是也方便維護。
3. gitlab里面，outbound requests 允許
4. jenkins里面有幾個重要的點跨域允許訪問，允許用戶注冊
5. 寫的流程有點復雜，我是邊練邊寫的，但是記錄了我遇到的各種問題，希望能對有問題的老鐵有幫助。
6. 里面的sh 腳本可能比較適合我，特別是build-image那塊，建議自行修改。
7. 不要用容器安裝jenkins了 這個坑太大了，gitlab還是容器安裝爽。
8. 最后在說一點，jenkins的pipline語法不復雜，參考我的寫你可以可以完成自動化構建，push鏡像，更新服務這塊其實也沒完全弄好，我准備在繼續好好研究下k8s，感覺k8s水太深，下次出專輯深啃一把！