K8s之spinnaker

一、spinnaker概述

1、spinnaker是netflix開源的一款雲發布CI/CD,其前身是Asgard，spinnaker支持各種部署目標，包括OpenStack、DC/OS、Kubernetes 和 Cloud Foundry等。

2、功能概述
　　& 通過靈活和可配置 Pipelines，實現可重復的自動化部署；
　　& 提供所有環境的全局視圖，可隨時查看應用程序在其部署 Pipeline 的狀態；
　　& 通過一致且可靠的 API ，提供可編程配置；
　　& 易於配置、維護和擴展；
　　& 具有操作伸縮性；
　　& 兼容 Asgard 特性，原用戶不用遷移。

3、組件概述

  
　　& Deck：面向用戶 UI 界面組件，提供直觀簡介的操作界面，可視化操作發布部署流程。
　　& API： 面向調用 API 組件，我們可以不使用提供的 UI，直接調用 API 操作，由它后台幫我們執行發布等任務。
　　& Gate：是 API 的網關組件，可以理解為代理，所有請求由其代理轉發。
　　& Rosco：是構建 beta 鏡像的組件，需要配置 Packer 組件使用。
　　& Orca：是核心流程引擎組件，用來管理流程。
　　& Igor：是用來集成其他 CI 系統組件，如 Jenkins 等一個組件。
　　& Echo：是通知系統組件，發送郵件等信息。
　　& Front50：是存儲管理組件，需要配置 Redis、Cassandra 等組件使用。
　　& Cloud driver 是它用來適配不同的雲平台的組件，比如 Kubernetes，Google、AWS EC2、Microsoft Azure 等。
　　& Fiat 是鑒權的組件，配置權限管理，支持 OAuth、SAML、LDAP、GitHub teams、Azure groups、 Google Groups 等。

二、部署

1、部署系統

    ubuntu   4 核 8G     系統版本：16.04 tls

2、安裝docker

 選擇合適的版本，k8s使用的版本為docker-ce_17.06.

下載docker：
   https://download.docker.com/linux/ubuntu/dists/xenial/pool/test/amd64/

安裝docker：

# dpkg -i /data/docker-ce_17.06.2~ce-0~ubuntu-xenial_amd64.deb

配置docker翻牆：
配置自己的shadowsocks+privoxy,參考我的博客：https://www.cnblogs.com/cuishuai/p/8463458.html

# mkdir /etc/systemd/system/docker.service.d/
# cd /etc/systemd/system/docker.service.d/
# cat http-proxy.conf
[Service]
Environment="HTTP_PROXY=http://10.10.23.4:8118" "NO_PROXY=localhost,127.0.0.1,0.0.0.0,10.10.29.3,10.10.25.29,172.11.0.0,172.10.0.0,172.11.0.0/16,172.10.0.0/16,10.,172.,10.10.23.4,10.96.0.0/12,10.244.0.0/16"

# systemctl daemon-reload
# systemctl restart docker

3、使用kubeadm安裝k8s

為ubuntu系統換源，國內環境不翻牆下載不了，所以需要換一個源。

# cat <<EOF > /etc/apt/sources.list.d/kubernetes.list
deb http://mirrors.ustc.edu.cn/kubernetes/apt kubernetes-xenial main
EOF

# apt-get  update

# apt-get install  kubeadm  kubectl  kubelet  ipvsadm

默認安裝的最新版本，我安裝的是1.11.2.

可以提前下載需要的鏡像：

k8s.gcr.io/kube-proxy-amd64:v1.11.2

k8s.gcr.io/kube-controller-manager-amd64:v1.11.2

k8s.gcr.io/kube-apiserver-amd64:v1.11.2

k8s.gcr.io/kube-scheduler-amd64:v1.11.2

k8s.gcr.io/coredns:1.1.3

k8s.gcr.io/etcd-amd64:3.2.18

k8s.gcr.io/pause:3.1

quay.io/coreos/flannel:v0.10.0-amd64

如果已經配置了翻牆，可以直接執行下面的初始化步驟。

 

初始化k8s：

# kubeadm init --kubernetes-version v1.11.2 --token-ttl 0 \

--pod-network-cidr 10.244.0.0/16

按照提示完成初始化操作，然后設置master可以deploy。

# kubectl taint nodes --all node-role.kubernetes.io/master-

 

如上圖所示則表示啟動正常。

 

4、創建Account和NFS動態存儲

首先要搭建一個NFS服務，具體搭建過程參考我的另外一篇博客：https://www.cnblogs.com/cuishuai/p/7798154.html

在現在的系統上安裝客戶端：

# apt install nfs-kernel-server

設置掛在點：

# mount -t nfs  10.10.29.4:/data/opv  /data/opv -o proto=tcp -o nolock

 ##10.10.29.4:/data/opv 的/data/opv是nfs服務的共享目錄，  后面的/data/opv是本機的掛在點。

 

1）創建account用於helm部署服務

##創建tiller用戶，用於helm安裝授權
# cat rbac.yaml
apiVersion: v1
kind: ServiceAccount
metadata:
   name: tiller
   namespace: default
---
apiVersion: rbac.authorization.k8s.io/v1beta1
kind: ClusterRoleBinding
metadata:
   name: tiller
roleRef:
   apiGroup: rbac.authorization.k8s.io
   kind: ClusterRole
   name: cluster-admin
subjects:
   - kind: ServiceAccount
     name: tiller
     namespace: default

# kubectl  create -f  rbac.yaml

##創建default用戶，用於spinnaker安裝授權
# cat default-rbac.yaml
apiVersion: rbac.authorization.k8s.io/v1beta1
kind: ClusterRoleBinding
metadata:
   name: default
roleRef:
   apiGroup: rbac.authorization.k8s.io
   kind: ClusterRole
   name: cluster-admin
subjects:
   - kind: ServiceAccount
     name: default
     namespace: default

# kubectl  create -f  default-rbac.yaml

2）創建NFS動態存儲

！創建用戶授權

# cat serviceaccount.yaml
apiVersion: v1
kind: ServiceAccount
metadata:
   name: nfs-provisioner

# cat clusterrole.yaml
kind: ClusterRole
apiVersion: rbac.authorization.k8s.io/v1
metadata:
   name: nfs-provisioner-runner
rules:
   - apiGroups: [""]
      resources: ["persistentvolumes"]
      verbs: ["get", "list", "watch", "create", "delete"]
   - apiGroups: [""]
      resources: ["persistentvolumeclaims"]
      verbs: ["get", "list", "watch", "update"]
   - apiGroups: ["storage.k8s.io"]
      resources: ["storageclasses"]
      verbs: ["get", "list", "watch"]
   - apiGroups: [""]
      resources: ["events"]
      verbs: ["watch", "create", "update", "patch"]
   - apiGroups: [""]
      resources: ["services", "endpoints"]
      verbs: ["get"]
   - apiGroups: ["extensions"]
      resources: ["podsecuritypolicies"]
      resourceNames: ["nfs-provisioner"]
      verbs: ["use"]


# cat clusterrolebinding.yaml
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
   name: run-nfs-provisioner
subjects:
   - kind: ServiceAccount
     name: nfs-provisioner
     namespace: default
roleRef:
   kind: ClusterRole
   name: nfs-provisioner-runner
   apiGroup: rbac.authorization.k8s.io

# kubectl create -f serviceaccount.yaml -f clusterrole.yaml -f clusterrolebinding.yaml

！創建deployment

# cat deployment.yaml
kind: Deployment
apiVersion: extensions/v1beta1
metadata:
   name: nfs-client-provisioner
spec:
   replicas: 1
   strategy:
   type: Recreate
   template:
      metadata:
         labels:
            app: nfs-client-provisioner
      spec:
         serviceAccount: nfs-provisioner
         containers:
            - name: nfs-client-provisioner
               image: registry.cn-hangzhou.aliyuncs.com/open-ali/nfs-client-provisioner
               volumeMounts:
                  - name: nfs-client-root
mountPath: /persistentvolumes
   env:
      - name: PROVISIONER_NAME
         value: fuseim.pri/ifs
      - name: NFS_SERVER
         value: 10.10.29.4
      - name: NFS_PATH
         value: /data/opv
   volumes:
      - name: nfs-client-root
         nfs:
            server: 10.10.29.4
            path: /data/opv

 

！創建storageclass

# cat storageclass.yaml
apiVersion: storage.k8s.io/v1beta1
kind: StorageClass
metadata:
   name: managed-nfs-storage
provisioner: fuseim.pri/ifs

# kubectl create -f deployment.yaml -f storageclass.yaml

5、安裝helm

下載相應的二進制安裝包

https://github.com/helm/helm/releases

解壓加入到系統路徑：

#  wget https://storage.googleapis.com/kubernetes-helm/helm-v2.10.0-linux-amd64.tar.gz

# tar xf helm-v2.10.0-linux-amd64.tar.gz

# cp helm  /usr/local/bin

初始化helm，安裝tiller

# helm init --upgrade --service-account tiller --tiller-namespace default -i registry.cn-hangzhou.aliyuncs.com/google_containers/tiller:v2.10.0 --stable-repo-url https://kubernetes.oss-cn-hangzhou.aliyuncs.com/charts

官網下載最新的charts。不要用aliyun的，版本太低，會報錯。

https://github.com/helm/charts/tree/master/stable/spinnaker

 

修改charts里的storageclass為上面自己定義的：managed-nfs-storage

root@skr:/data/spinnaker# ls charts/
jenkins minio redis

1)修改三個目錄下的values.yaml文件，將storageclass/Storageclass名稱修改為上面創建的managed-nfs-storage

2)修改spinnaker目錄下的values.yaml文件，將minio的imageTAG修改成和charts/minio目錄下的values.yaml文件一樣的。

#vim  spinnaker/values.yaml

minio:
enabled: true
imageTag: RELEASE.2018-03-16T22-52-12Z

# vim spinnaker/charts/minio/values.yaml

image:
repository: minio/minio
tag: RELEASE.2018-03-16T22-52-12Z

 

 

定義自己的docker registry地址:
#vim spinnaker/values.yaml
accounts:
- name: dockerhub
   address: https://index.docker.io

address修改為自己的registry地址

3)修改spinnaker目錄下的values.yaml文件,修改kubeConfig

kubectl create secret generic kubeconfig --from-file=/root/.kube/config

kubeConfig:
enabled: true
secretName: kubeconfig
secretKey: config
# List of contexts from the kubeconfig to make available to Spinnaker
contexts:
- kubernetes-admin@kubernetes

6、安裝spinnaker：

在spinnaker目錄下面執行：
# helm install -n spinnaker --tiller-namespace default ./ -f values.yaml --namespace default

  

  

  

如果部署出問題了，可以使用如下命令刪掉本次部署：

# helm del --purge --tiller-namespace default spinnaker

 

7、訪問

配置訪問deck：
查看pod的服務端口：
# kubectl get pods spinnaker-spinnaker-deck-5d87d8d9f9-lswwv --template='{{(index (index .spec.containers 0).ports 0).containerPort}}{{"\n"}}'

映射端口到本地，127.0.0.1:port可以訪問服務。當然可以部署一個ingress代理訪問，這里只是測試環境。

# kubectl port-forward spinnaker-spinnaker-deck-5d87d8d9f9-lswwv 9000:9000

由於這樣暴漏的服務監聽的127.0.0.1，所以為了使用服務，需要自己搞一個服務代理。這里我就使用nginx:

##spinnaker-spinnaker-deck-5d87d8d9f9-lswwv  是我的deck的pod的名稱，這里需要寫自己的。

刪除刪不掉的pod：
# kubectl delete pod pod-name --grace-period 0 --force