5 第五章 Pod詳解

5.1 Pod介紹

5.1.1 Pod結構

每個Pod中都可以包含一個或者多個容器，這些容器可以分為兩類：

• 用戶程序所在的容器，數量可多可少

• Pause容器，這是每個Pod都會有的一個根容器，它的作用有兩個：

  • 可以以它為依據，評估整個Pod的健康狀態

  • 可以在根容器上設置Ip地址，其它容器都此Ip（Pod IP），以實現Pod內部的網路通信

    這里是Pod內部的通訊，Pod的之間的通訊采用虛擬二層網絡技術來實現，我們當前環境用的是Flannel

5.1.2 Pod定義

下面是Pod的資源清單：

apiVersion: v1     #必選，版本號，例如v1
kind: Pod       　 #必選，資源類型，例如 Pod
metadata:       　 #必選，元數據
 name: string     #必選，Pod名稱
 namespace: string  #Pod所屬的命名空間,默認為"default"
 labels:       　　  #自定義標簽列表
   - name: string     　          
spec:  #必選，Pod中容器的詳細定義
 containers:  #必選，Pod中容器列表
 - name: string   #必選，容器名稱
   image: string  #必選，容器的鏡像名稱
   imagePullPolicy: [ Always|Never|IfNotPresent ]  #獲取鏡像的策略 
   command: [string]   #容器的啟動命令列表，如不指定，使用打包時使用的啟動命令
   args: [string]      #容器的啟動命令參數列表
   workingDir: string  #容器的工作目錄
   volumeMounts:       #掛載到容器內部的存儲卷配置
   - name: string      #引用pod定義的共享存儲卷的名稱，需用volumes[]部分定義的的卷名
     mountPath: string #存儲卷在容器內mount的絕對路徑，應少於512字符
     readOnly: boolean #是否為只讀模式
   ports: #需要暴露的端口庫號列表
   - name: string        #端口的名稱
     containerPort: int  #容器需要監聽的端口號
     hostPort: int       #容器所在主機需要監聽的端口號，默認與Container相同
     protocol: string    #端口協議，支持TCP和UDP，默認TCP
   env:   #容器運行前需設置的環境變量列表
   - name: string  #環境變量名稱
     value: string #環境變量的值
   resources: #資源限制和請求的設置
     limits:  #資源限制的設置
       cpu: string     #Cpu的限制，單位為core數，將用於docker run --cpu-shares參數
       memory: string  #內存限制，單位可以為Mib/Gib，將用於docker run --memory參數
     requests: #資源請求的設置
       cpu: string    #Cpu請求，容器啟動的初始可用數量
       memory: string #內存請求,容器啟動的初始可用數量
   lifecycle: #生命周期鈎子
  postStart: #容器啟動后立即執行此鈎子,如果執行失敗,會根據重啟策略進行重啟
  preStop: #容器終止前執行此鈎子,無論結果如何,容器都會終止
   livenessProbe:  #對Pod內各容器健康檢查的設置，當探測無響應幾次后將自動重啟該容器
     exec:       　 #對Pod容器內檢查方式設置為exec方式
       command: [string]  #exec方式需要制定的命令或腳本
     httpGet:       #對Pod內個容器健康檢查方法設置為HttpGet，需要制定Path、port
       path: string
       port: number
       host: string
       scheme: string
       HttpHeaders:
       - name: string
         value: string
     tcpSocket:     #對Pod內個容器健康檢查方式設置為tcpSocket方式
         port: number
       initialDelaySeconds: 0       #容器啟動完成后首次探測的時間，單位為秒
       timeoutSeconds: 0   　　    #對容器健康檢查探測等待響應的超時時間，單位秒，默認1秒
       periodSeconds: 0     　　    #對容器監控檢查的定期探測時間設置，單位秒，默認10秒一次
       successThreshold: 0
       failureThreshold: 0
       securityContext:
         privileged: false
 restartPolicy: [Always | Never | OnFailure]  #Pod的重啟策略
 nodeName: <string> #設置NodeName表示將該Pod調度到指定到名稱的node節點上
 nodeSelector: obeject #設置NodeSelector表示將該Pod調度到包含這個label的node上
 imagePullSecrets: #Pull鏡像時使用的secret名稱，以key：secretkey格式指定
 - name: string
 hostNetwork: false   #是否使用主機網絡模式，默認為false，如果設置為true，表示使用宿主機網絡
 volumes:   #在該pod上定義共享存儲卷列表
 - name: string    #共享存儲卷名稱 （volumes類型有很多種）
   emptyDir: {}       #類型為emtyDir的存儲卷，與Pod同生命周期的一個臨時目錄。為空值
   hostPath: string   #類型為hostPath的存儲卷，表示掛載Pod所在宿主機的目錄
     path: string     　　        #Pod所在宿主機的目錄，將被用於同期中mount的目錄
   secret:       　　　#類型為secret的存儲卷，掛載集群與定義的secret對象到容器內部
     scretname: string  
     items:     
     - key: string
       path: string
   configMap:         #類型為configMap的存儲卷，掛載預定義的configMap對象到容器內部
     name: string
     items:
     - key: string
       path: string

 

#小提示：
# 在這里，可通過一個命令來查看每種資源的可配置項
#   kubectl explain 資源類型         查看某種資源可以配置的一級屬性
# kubectl explain 資源類型.屬性     查看屬性的子屬性
[root@k8s-master01 ~]# kubectl explain pod
KIND:     Pod
VERSION:  v1
FIELDS:
   apiVersion   <string>
   kind <string>
   metadata     <Object>
   spec <Object>
   status       <Object>
​
[root@k8s-master01 ~]# kubectl explain pod.metadata
KIND:     Pod
VERSION:  v1
RESOURCE: metadata <Object>
FIELDS:
   annotations  <map[string]string>
   clusterName  <string>
   creationTimestamp    <string>
   deletionGracePeriodSeconds   <integer>
   deletionTimestamp    <string>
   finalizers   <[]string>
   generateName <string>
   generation   <integer>
   labels       <map[string]string>
   managedFields        <[]Object>
   name <string>
   namespace    <string>
   ownerReferences      <[]Object>
   resourceVersion      <string>
   selfLink     <string>
   uid  <string>

在kubernetes中基本所有資源的一級屬性都是一樣的，主要包含5部分：

• apiVersion <string> 版本，由kubernetes內部定義，版本號必須可以用 kubectl api-versions 查詢到

• kind <string> 類型，由kubernetes內部定義，版本號必須可以用 kubectl api-resources 查詢到

• metadata <Object> 元數據，主要是資源標識和說明，常用的有name、namespace、labels等

• spec <Object> 描述，這是配置中最重要的一部分，里面是對各種資源配置的詳細描述

• status <Object> 狀態信息，里面的內容不需要定義，由kubernetes自動生成

在上面的屬性中，spec是接下來研究的重點，繼續看下它的常見子屬性:

• containers <[]Object> 容器列表，用於定義容器的詳細信息

• nodeName <String> 根據nodeName的值將pod調度到指定的Node節點上

• nodeSelector <map[]> 根據NodeSelector中定義的信息選擇將該Pod調度到包含這些label的Node 上

• hostNetwork <boolean> 是否使用主機網絡模式，默認為false，如果設置為true，表示使用宿主機網絡

• volumes <[]Object> 存儲卷，用於定義Pod上面掛在的存儲信息

• restartPolicy <string> 重啟策略，表示Pod在遇到故障的時候的處理策略

5.2 Pod配置

本小節主要來研究pod.spec.containers屬性，這也是pod配置中最為關鍵的一項配置。

[root@k8s-master01 ~]# kubectl explain pod.spec.containers
KIND:     Pod
VERSION:  v1
RESOURCE: containers <[]Object>   # 數組，代表可以有多個容器
FIELDS:
   name  <string>     # 容器名稱
   image <string>     # 容器需要的鏡像地址
   imagePullPolicy  <string> # 鏡像拉取策略 
   command  <[]string> # 容器的啟動命令列表，如不指定，使用打包時使用的啟動命令
   args     <[]string> # 容器的啟動命令需要的參數列表
   env      <[]Object> # 容器環境變量的配置
   ports    <[]Object>     # 容器需要暴露的端口號列表
   resources <Object>      # 資源限制和資源請求的設置

5.2.1 基本配置

創建pod-base.yaml文件，內容如下：

apiVersion: v1
kind: Pod
metadata:
 name: pod-base
 namespace: dev
 labels:
   user: heima
spec:
 containers:
 - name: nginx
   image: nginx:1.17.1
 - name: busybox
   image: busybox:1.30

上面定義了一個比較簡單Pod的配置，里面有兩個容器：

• nginx：用1.17.1版本的nginx鏡像創建，（nginx是一個輕量級web容器）

• busybox：用1.30版本的busybox鏡像創建，（busybox是一個小巧的linux命令集合）

# 創建Pod
[root@k8s-master01 pod]# kubectl apply -f pod-base.yaml
pod/pod-base created
​
# 查看Pod狀況
# READY 1/2 : 表示當前Pod中有2個容器，其中1個准備就緒，1個未就緒
# RESTARTS : 重啟次數，因為有1個容器故障了，Pod一直在重啟試圖恢復它
[root@k8s-master01 pod]# kubectl get pod -n dev
NAME       READY   STATUS    RESTARTS   AGE
pod-base   1/2     Running   4          95s
​
# 可以通過describe查看內部的詳情
# 此時已經運行起來了一個基本的Pod，雖然它暫時有問題
[root@k8s-master01 pod]# kubectl describe pod pod-base -n dev

5.2.2 鏡像拉取

創建pod-imagepullpolicy.yaml文件，內容如下：

apiVersion: v1
kind: Pod
metadata:
 name: pod-imagepullpolicy
 namespace: dev
spec:
 containers:
 - name: nginx
   image: nginx:1.17.1
   imagePullPolicy: Never # 用於設置鏡像拉取策略
 - name: busybox
   image: busybox:1.30

imagePullPolicy，用於設置鏡像拉取策略，kubernetes支持配置三種拉取策略：

• Always：總是從遠程倉庫拉取鏡像（一直遠程下載）

• IfNotPresent：本地有則使用本地鏡像，本地沒有則從遠程倉庫拉取鏡像（本地有就本地 本地沒遠程下載）

• Never：只使用本地鏡像，從不去遠程倉庫拉取，本地沒有就報錯 （一直使用本地）

默認值說明：

如果鏡像tag為具體版本號， 默認策略是：IfNotPresent

如果鏡像tag為：latest（最終版本） ，默認策略是always

# 創建Pod
[root@k8s-master01 pod]# kubectl create -f pod-imagepullpolicy.yaml
pod/pod-imagepullpolicy created
​
# 查看Pod詳情
# 此時明顯可以看到nginx鏡像有一步Pulling image "nginx:1.17.1"的過程
[root@k8s-master01 pod]# kubectl describe pod pod-imagepullpolicy -n dev
......
Events:
  Type     Reason     Age               From               Message
  ----     ------     ----              ----               -------
  Normal   Scheduled  <unknown>         default-scheduler  Successfully assigned dev/pod-imagePullPolicy to node1
  Normal   Pulling    32s               kubelet, node1     Pulling image "nginx:1.17.1"
  Normal   Pulled     26s               kubelet, node1     Successfully pulled image "nginx:1.17.1"
  Normal   Created    26s               kubelet, node1     Created container nginx
  Normal   Started    25s               kubelet, node1     Started container nginx
  Normal   Pulled     7s (x3 over 25s)  kubelet, node1     Container image "busybox:1.30" already present on machine
  Normal   Created    7s (x3 over 25s)  kubelet, node1     Created container busybox
  Normal   Started    7s (x3 over 25s)  kubelet, node1     Started container busybox

5.2.3 啟動命令

在前面的案例中，一直有一個問題沒有解決，就是的busybox容器一直沒有成功運行，那么到底是什么原因導致這個容器的故障呢？

原來busybox並不是一個程序，而是類似於一個工具類的集合，kubernetes集群啟動管理后，它會自動關閉。解決方法就是讓其一直在運行，這就用到了command配置。

創建pod-command.yaml文件，內容如下：

apiVersion: v1
kind: Pod
metadata:
  name: pod-command
  namespace: dev
spec:
  containers:
  - name: nginx
    image: nginx:1.17.1
  - name: busybox
    image: busybox:1.30
    command: ["/bin/sh","-c","touch /tmp/hello.txt;while true;do /bin/echo $(date +%T) >> /tmp/hello.txt; sleep 3; done;"]

command，用於在pod中的容器初始化完畢之后運行一個命令。

稍微解釋下上面命令的意思：

"/bin/sh","-c", 使用sh執行命令

touch /tmp/hello.txt; 創建一個/tmp/hello.txt 文件

while true;do /bin/echo $(date +%T) >> /tmp/hello.txt; sleep 3; done; 每隔3秒向文件中寫入當前時間

# 創建Pod
[root@k8s-master01 pod]# kubectl create  -f pod-command.yaml
pod/pod-command created

# 查看Pod狀態
# 此時發現兩個pod都正常運行了
[root@k8s-master01 pod]# kubectl get pods pod-command -n dev
NAME          READY   STATUS   RESTARTS   AGE
pod-command   2/2     Runing   0          2s

# 進入pod中的busybox容器，查看文件內容
# 補充一個命令: kubectl exec  pod名稱 -n 命名空間 -it -c 容器名稱 /bin/sh  在容器內部執行命令
# 使用這個命令就可以進入某個容器的內部，然后進行相關操作了
# 比如，可以查看txt文件的內容
[root@k8s-master01 pod]# kubectl exec pod-command -n dev -it -c busybox /bin/sh
/ # tail -f /tmp/hello.txt
14:44:19
14:44:22
14:44:25

特別說明：
    通過上面發現command已經可以完成啟動命令和傳遞參數的功能，為什么這里還要提供一個args選項，用於傳遞參數呢?這其實跟docker有點關系，kubernetes中的command、args兩項其實是實現覆蓋Dockerfile中ENTRYPOINT的功能。
 1 如果command和args均沒有寫，那么用Dockerfile的配置。
 2 如果command寫了，但args沒有寫，那么Dockerfile默認的配置會被忽略，執行輸入的command
 3 如果command沒寫，但args寫了，那么Dockerfile中配置的ENTRYPOINT的命令會被執行，使用當前args的參數
 4 如果command和args都寫了，那么Dockerfile的配置被忽略，執行command並追加上args參數

5.2.4 環境變量

創建pod-env.yaml文件，內容如下：

apiVersion: v1
kind: Pod
metadata:
  name: pod-env
  namespace: dev
spec:
  containers:
  - name: busybox
    image: busybox:1.30
    command: ["/bin/sh","-c","while true;do /bin/echo $(date +%T);sleep 60; done;"]
    env: # 設置環境變量列表
    - name: "username"
      value: "admin"
    - name: "password"
      value: "123456"

env，環境變量，用於在pod中的容器設置環境變量。

# 創建Pod
[root@k8s-master01 ~]# kubectl create -f pod-env.yaml
pod/pod-env created

# 進入容器，輸出環境變量
[root@k8s-master01 ~]# kubectl exec pod-env -n dev -c busybox -it /bin/sh
/ # echo $username
admin
/ # echo $password
123456

這種方式不是很推薦，推薦將這些配置單獨存儲在配置文件中，這種方式將在后面介紹。

5.2.5 端口設置

本小節來介紹容器的端口設置，也就是containers的ports選項。

首先看下ports支持的子選項：

[root@k8s-master01 ~]# kubectl explain pod.spec.containers.ports
KIND:     Pod
VERSION:  v1
RESOURCE: ports <[]Object>
FIELDS:
   name         <string>  # 端口名稱，如果指定，必須保證name在pod中是唯一的		
   containerPort<integer> # 容器要監聽的端口(0<x<65536)
   hostPort     <integer> # 容器要在主機上公開的端口，如果設置，主機上只能運行容器的一個副本(一般省略) 
   hostIP       <string>  # 要將外部端口綁定到的主機IP(一般省略)
   protocol     <string>  # 端口協議。必須是UDP、TCP或SCTP。默認為“TCP”。

接下來，編寫一個測試案例，創建pod-ports.yaml

apiVersion: v1
kind: Pod
metadata:
  name: pod-ports
  namespace: dev
spec:
  containers:
  - name: nginx
    image: nginx:1.17.1
    ports: # 設置容器暴露的端口列表
    - name: nginx-port
      containerPort: 80
      protocol: TCP

# 創建Pod
[root@k8s-master01 ~]# kubectl create -f pod-ports.yaml
pod/pod-ports created

# 查看pod
# 在下面可以明顯看到配置信息
[root@k8s-master01 ~]# kubectl get pod pod-ports -n dev -o yaml
......
spec:
  containers:
  - image: nginx:1.17.1
    imagePullPolicy: IfNotPresent
    name: nginx
    ports:
    - containerPort: 80
      name: nginx-port
      protocol: TCP
......

訪問容器中的程序需要使用的是Podip:containerPort

5.2.6 資源配額

容器中的程序要運行，肯定是要占用一定資源的，比如cpu和內存等，如果不對某個容器的資源做限制，那么它就可能吃掉大量資源，導致其它容器無法運行。針對這種情況，kubernetes提供了對內存和cpu的資源進行配額的機制，這種機制主要通過resources選項實現，他有兩個子選項：

• limits：用於限制運行時容器的最大占用資源，當容器占用資源超過limits時會被終止，並進行重啟

• requests ：用於設置容器需要的最小資源，如果環境資源不夠，容器將無法啟動

可以通過上面兩個選項設置資源的上下限。

接下來，編寫一個測試案例，創建pod-resources.yaml

apiVersion: v1
kind: Pod
metadata:
  name: pod-resources
  namespace: dev
spec:
  containers:
  - name: nginx
    image: nginx:1.17.1
    resources: # 資源配額
      limits:  # 限制資源（上限）
        cpu: "2" # CPU限制，單位是core數
        memory: "10Gi" # 內存限制
      requests: # 請求資源（下限）
        cpu: "1"  # CPU限制，單位是core數
        memory: "10Mi"  # 內存限制

在這對cpu和memory的單位做一個說明：

• cpu：core數，可以為整數或小數

• memory： 內存大小，可以使用Gi、Mi、G、M等形式

# 運行Pod
[root@k8s-master01 ~]# kubectl create  -f pod-resources.yaml
pod/pod-resources created

# 查看發現pod運行正常
[root@k8s-master01 ~]# kubectl get pod pod-resources -n dev
NAME            READY   STATUS    RESTARTS   AGE  
pod-resources   1/1     Running   0          39s   

# 接下來，停止Pod
[root@k8s-master01 ~]# kubectl delete  -f pod-resources.yaml
pod "pod-resources" deleted

# 編輯pod，修改resources.requests.memory的值為10Gi
[root@k8s-master01 ~]# vim pod-resources.yaml

# 再次啟動pod
[root@k8s-master01 ~]# kubectl create  -f pod-resources.yaml
pod/pod-resources created

# 查看Pod狀態，發現Pod啟動失敗
[root@k8s-master01 ~]# kubectl get pod pod-resources -n dev -o wide
NAME            READY   STATUS    RESTARTS   AGE          
pod-resources   0/1     Pending   0          20s    

# 查看pod詳情會發現，如下提示
[root@k8s-master01 ~]# kubectl describe pod pod-resources -n dev
......
Warning  FailedScheduling  35s   default-scheduler  0/3 nodes are available: 1 node(s) had taint {node-role.kubernetes.io/master: }, that the pod didn't tolerate, 2 Insufficient memory.(內存不足)

5.3 Pod生命周期

我們一般將pod對象從創建至終的這段時間范圍稱為pod的生命周期，它主要包含下面的過程：

• pod創建過程

• 運行初始化容器（init container）過程

• 運行主容器（main container）

  • 容器啟動后鈎子（post start）、容器終止前鈎子（pre stop）

  • 容器的存活性探測（liveness probe）、就緒性探測（readiness probe）

• pod終止過程

在整個生命周期中，Pod會出現5種狀態（相位），分別如下：

• 掛起（Pending）：apiserver已經創建了pod資源對象，但它尚未被調度完成或者仍處於下載鏡像的過程中

• 運行中（Running）：pod已經被調度至某節點，並且所有容器都已經被kubelet創建完成

• 成功（Succeeded）：pod中的所有容器都已經成功終止並且不會被重啟

• 失敗（Failed）：所有容器都已經終止，但至少有一個容器終止失敗，即容器返回了非0值的退出狀態

• 未知（Unknown）：apiserver無法正常獲取到pod對象的狀態信息，通常由網絡通信失敗所導致

5.3.1 創建和終止

pod的創建過程

1. 用戶通過kubectl或其他api客戶端提交需要創建的pod信息給apiServer

2. apiServer開始生成pod對象的信息，並將信息存入etcd，然后返回確認信息至客戶端

3. apiServer開始反映etcd中的pod對象的變化，其它組件使用watch機制來跟蹤檢查apiServer上的變動

4. scheduler發現有新的pod對象要創建，開始為Pod分配主機並將結果信息更新至apiServer

5. node節點上的kubelet發現有pod調度過來，嘗試調用docker啟動容器，並將結果回送至apiServer

6. apiServer將接收到的pod狀態信息存入etcd中

   

pod的終止過程

1. 用戶向apiServer發送刪除pod對象的命令

2. apiServcer中的pod對象信息會隨着時間的推移而更新，在寬限期內（默認30s），pod被視為dead

3. 將pod標記為terminating狀態

4. kubelet在監控到pod對象轉為terminating狀態的同時啟動pod關閉過程

5. 端點控制器監控到pod對象的關閉行為時將其從所有匹配到此端點的service資源的端點列表中移除

6. 如果當前pod對象定義了preStop鈎子處理器，則在其標記為terminating后即會以同步的方式啟動執行

7. pod對象中的容器進程收到停止信號

8. 寬限期結束后，若pod中還存在仍在運行的進程，那么pod對象會收到立即終止的信號

9. kubelet請求apiServer將此pod資源的寬限期設置為0從而完成刪除操作，此時pod對於用戶已不可見

5.3.2 初始化容器

初始化容器是在pod的主容器啟動之前要運行的容器，主要是做一些主容器的前置工作，它具有兩大特征：

1. 初始化容器必須運行完成直至結束，若某初始化容器運行失敗，那么kubernetes需要重啟它直到成功完成

2. 初始化容器必須按照定義的順序執行，當且僅當前一個成功之后，后面的一個才能運行

初始化容器有很多的應用場景，下面列出的是最常見的幾個：

• 提供主容器鏡像中不具備的工具程序或自定義代碼

• 初始化容器要先於應用容器串行啟動並運行完成，因此可用於延后應用容器的啟動直至其依賴的條件得到滿足

接下來做一個案例，模擬下面這個需求：

假設要以主容器來運行nginx，但是要求在運行nginx之前先要能夠連接上mysql和redis所在服務器

為了簡化測試，事先規定好mysql(192.168.5.4)和redis(192.168.5.5)服務器的地址

創建pod-initcontainer.yaml，內容如下：

apiVersion: v1
kind: Pod
metadata:
  name: pod-initcontainer
  namespace: dev
spec:
  containers:
  - name: main-container
    image: nginx:1.17.1
    ports: 
    - name: nginx-port
      containerPort: 80
  initContainers:
  - name: test-mysql
    image: busybox:1.30
    command: ['sh', '-c', 'until ping 192.168.5.14 -c 1 ; do echo waiting for mysql...; sleep 2; done;']
  - name: test-redis
    image: busybox:1.30
    command: ['sh', '-c', 'until ping 192.168.5.15 -c 1 ; do echo waiting for reids...; sleep 2; done;']

# 創建pod
[root@k8s-master01 ~]# kubectl create -f pod-initcontainer.yaml
pod/pod-initcontainer created

# 查看pod狀態
# 發現pod卡在啟動第一個初始化容器過程中，后面的容器不會運行
root@k8s-master01 ~]# kubectl describe pod  pod-initcontainer -n dev
........
Events:
  Type    Reason     Age   From               Message
  ----    ------     ----  ----               -------
  Normal  Scheduled  49s   default-scheduler  Successfully assigned dev/pod-initcontainer to node1
  Normal  Pulled     48s   kubelet, node1     Container image "busybox:1.30" already present on machine
  Normal  Created    48s   kubelet, node1     Created container test-mysql
  Normal  Started    48s   kubelet, node1     Started container test-mysql

# 動態查看pod
[root@k8s-master01 ~]# kubectl get pods pod-initcontainer -n dev -w
NAME                             READY   STATUS     RESTARTS   AGE
pod-initcontainer                0/1     Init:0/2   0          15s
pod-initcontainer                0/1     Init:1/2   0          52s
pod-initcontainer                0/1     Init:1/2   0          53s
pod-initcontainer                0/1     PodInitializing   0          89s
pod-initcontainer                1/1     Running           0          90s

# 接下來新開一個shell，為當前服務器新增兩個ip，觀察pod的變化
[root@k8s-master01 ~]# ifconfig ens33:1 192.168.5.14 netmask 255.255.255.0 up
[root@k8s-master01 ~]# ifconfig ens33:2 192.168.5.15 netmask 255.255.255.0 up

5.3.3 鈎子函數

鈎子函數能夠感知自身生命周期中的事件，並在相應的時刻到來時運行用戶指定的程序代碼。

kubernetes在主容器的啟動之后和停止之前提供了兩個鈎子函數：

• post start：容器創建之后執行，如果失敗了會重啟容器

• pre stop ：容器終止之前執行，執行完成之后容器將成功終止，在其完成之前會阻塞刪除容器的操作

鈎子處理器支持使用下面三種方式定義動作：

• Exec命令：在容器內執行一次命令

  ……
    lifecycle:
      postStart: 
        exec:
          command:
          - cat
          - /tmp/healthy
  ……

• TCPSocket：在當前容器嘗試訪問指定的socket

  ……      
    lifecycle:
      postStart:
        tcpSocket:
          port: 8080
  ……

• HTTPGet：在當前容器中向某url發起http請求

  ……
    lifecycle:
      postStart:
        httpGet:
          path: / #URI地址
          port: 80 #端口號
          host: 192.168.5.3 #主機地址
          scheme: HTTP #支持的協議，http或者https
  ……

接下來，以exec方式為例，演示下鈎子函數的使用，創建pod-hook-exec.yaml文件，內容如下：

apiVersion: v1
kind: Pod
metadata:
  name: pod-hook-exec
  namespace: dev
spec:
  containers:
  - name: main-container
    image: nginx:1.17.1
    ports:
    - name: nginx-port
      containerPort: 80
    lifecycle:
      postStart: 
        exec: # 在容器啟動的時候執行一個命令，修改掉nginx的默認首頁內容
          command: ["/bin/sh", "-c", "echo postStart... > /usr/share/nginx/html/index.html"]
      preStop:
        exec: # 在容器停止之前停止nginx服務
          command: ["/usr/sbin/nginx","-s","quit"]

# 創建pod
[root@k8s-master01 ~]# kubectl create -f pod-hook-exec.yaml
pod/pod-hook-exec created

# 查看pod
[root@k8s-master01 ~]# kubectl get pods  pod-hook-exec -n dev -o wide
NAME           READY   STATUS     RESTARTS   AGE    IP            NODE    
pod-hook-exec  1/1     Running    0          29s    10.244.2.48   node2   

# 訪問pod
[root@k8s-master01 ~]# curl 10.244.2.48
postStart...

5.3.4 容器探測

容器探測用於檢測容器中的應用實例是否正常工作，是保障業務可用性的一種傳統機制。如果經過探測，實例的狀態不符合預期，那么kubernetes就會把該問題實例" 摘除 "，不承擔業務流量。kubernetes提供了兩種探針來實現容器探測，分別是：

• liveness probes：存活性探針，用於檢測應用實例當前是否處於正常運行狀態，如果不是，k8s會重啟容器

• readiness probes：就緒性探針，用於檢測應用實例當前是否可以接收請求，如果不能，k8s不會轉發流量

livenessProbe 決定是否重啟容器，readinessProbe 決定是否將請求轉發給容器。

上面兩種探針目前均支持三種探測方式：

• Exec命令：在容器內執行一次命令，如果命令執行的退出碼為0，則認為程序正常，否則不正常

  ……
    livenessProbe:
      exec:
        command:
        - cat
        - /tmp/healthy
  ……

• TCPSocket：將會嘗試訪問一個用戶容器的端口，如果能夠建立這條連接，則認為程序正常，否則不正常

  ……      
    livenessProbe:
      tcpSocket:
        port: 8080
  ……

• HTTPGet：調用容器內Web應用的URL，如果返回的狀態碼在200和399之間，則認為程序正常，否則不正常

  ……
    livenessProbe:
      httpGet:
        path: / #URI地址
        port: 80 #端口號
        host: 127.0.0.1 #主機地址
        scheme: HTTP #支持的協議，http或者https
  ……

下面以liveness probes為例，做幾個演示：

方式一：Exec

創建pod-liveness-exec.yaml

apiVersion: v1
kind: Pod
metadata:
  name: pod-liveness-exec
  namespace: dev
spec:
  containers:
  - name: nginx
    image: nginx:1.17.1
    ports: 
    - name: nginx-port
      containerPort: 80
    livenessProbe:
      exec:
        command: ["/bin/cat","/tmp/hello.txt"] # 執行一個查看文件的命令

創建pod，觀察效果

# 創建Pod
[root@k8s-master01 ~]# kubectl create -f pod-liveness-exec.yaml
pod/pod-liveness-exec created

# 查看Pod詳情
[root@k8s-master01 ~]# kubectl describe pods pod-liveness-exec -n dev
......
  Normal   Created    20s (x2 over 50s)  kubelet, node1     Created container nginx
  Normal   Started    20s (x2 over 50s)  kubelet, node1     Started container nginx
  Normal   Killing    20s                kubelet, node1     Container nginx failed liveness probe, will be restarted
  Warning  Unhealthy  0s (x5 over 40s)   kubelet, node1     Liveness probe failed: cat: can't open '/tmp/hello11.txt': No such file or directory
  
# 觀察上面的信息就會發現nginx容器啟動之后就進行了健康檢查
# 檢查失敗之后，容器被kill掉，然后嘗試進行重啟（這是重啟策略的作用，后面講解）
# 稍等一會之后，再觀察pod信息，就可以看到RESTARTS不再是0，而是一直增長
[root@k8s-master01 ~]# kubectl get pods pod-liveness-exec -n dev
NAME                READY   STATUS             RESTARTS   AGE
pod-liveness-exec   0/1     CrashLoopBackOff   2          3m19s

# 當然接下來，可以修改成一個存在的文件，比如/tmp/hello.txt，再試，結果就正常了......

方式二：TCPSocket

創建pod-liveness-tcpsocket.yaml

apiVersion: v1
kind: Pod
metadata:
  name: pod-liveness-tcpsocket
  namespace: dev
spec:
  containers:
  - name: nginx
    image: nginx:1.17.1
    ports: 
    - name: nginx-port
      containerPort: 80
    livenessProbe:
      tcpSocket:
        port: 8080 # 嘗試訪問8080端口

創建pod，觀察效果

# 創建Pod
[root@k8s-master01 ~]# kubectl create -f pod-liveness-tcpsocket.yaml
pod/pod-liveness-tcpsocket created

# 查看Pod詳情
[root@k8s-master01 ~]# kubectl describe pods pod-liveness-tcpsocket -n dev
......
  Normal   Scheduled  31s                            default-scheduler  Successfully assigned dev/pod-liveness-tcpsocket to node2
  Normal   Pulled     <invalid>                      kubelet, node2     Container image "nginx:1.17.1" already present on machine
  Normal   Created    <invalid>                      kubelet, node2     Created container nginx
  Normal   Started    <invalid>                      kubelet, node2     Started container nginx
  Warning  Unhealthy  <invalid> (x2 over <invalid>)  kubelet, node2     Liveness probe failed: dial tcp 10.244.2.44:8080: connect: connection refused
  
# 觀察上面的信息，發現嘗試訪問8080端口,但是失敗了
# 稍等一會之后，再觀察pod信息，就可以看到RESTARTS不再是0，而是一直增長
[root@k8s-master01 ~]# kubectl get pods pod-liveness-tcpsocket  -n dev
NAME                     READY   STATUS             RESTARTS   AGE
pod-liveness-tcpsocket   0/1     CrashLoopBackOff   2          3m19s

# 當然接下來，可以修改成一個可以訪問的端口，比如80，再試，結果就正常了......

方式三：HTTPGet

創建pod-liveness-httpget.yaml

apiVersion: v1
kind: Pod
metadata:
  name: pod-liveness-httpget
  namespace: dev
spec:
  containers:
  - name: nginx
    image: nginx:1.17.1
    ports:
    - name: nginx-port
      containerPort: 80
    livenessProbe:
      httpGet:  # 其實就是訪問http://127.0.0.1:80/hello  
        scheme: HTTP #支持的協議，http或者https
        port: 80 #端口號
        path: /hello #URI地址

創建pod，觀察效果

# 創建Pod
[root@k8s-master01 ~]# kubectl create -f pod-liveness-httpget.yaml
pod/pod-liveness-httpget created

# 查看Pod詳情
[root@k8s-master01 ~]# kubectl describe pod pod-liveness-httpget -n dev
.......
  Normal   Pulled     6s (x3 over 64s)  kubelet, node1     Container image "nginx:1.17.1" already present on machine
  Normal   Created    6s (x3 over 64s)  kubelet, node1     Created container nginx
  Normal   Started    6s (x3 over 63s)  kubelet, node1     Started container nginx
  Warning  Unhealthy  6s (x6 over 56s)  kubelet, node1     Liveness probe failed: HTTP probe failed with statuscode: 404
  Normal   Killing    6s (x2 over 36s)  kubelet, node1     Container nginx failed liveness probe, will be restarted
  
# 觀察上面信息，嘗試訪問路徑，但是未找到,出現404錯誤
# 稍等一會之后，再觀察pod信息，就可以看到RESTARTS不再是0，而是一直增長
[root@k8s-master01 ~]# kubectl get pod pod-liveness-httpget -n dev
NAME                   READY   STATUS    RESTARTS   AGE
pod-liveness-httpget   1/1     Running   5          3m17s

# 當然接下來，可以修改成一個可以訪問的路徑path，比如/，再試，結果就正常了......

至此，已經使用liveness Probe演示了三種探測方式，但是查看livenessProbe的子屬性，會發現除了這三種方式，還有一些其他的配置，在這里一並解釋下：

[root@k8s-master01 ~]# kubectl explain pod.spec.containers.livenessProbe
FIELDS:
   exec <Object>  
   tcpSocket    <Object>
   httpGet      <Object>
   initialDelaySeconds  <integer>  # 容器啟動后等待多少秒執行第一次探測
   timeoutSeconds       <integer>  # 探測超時時間。默認1秒，最小1秒
   periodSeconds        <integer>  # 執行探測的頻率。默認是10秒，最小1秒
   failureThreshold     <integer>  # 連續探測失敗多少次才被認定為失敗。默認是3。最小值是1
   successThreshold     <integer>  # 連續探測成功多少次才被認定為成功。默認是1

下面稍微配置兩個，演示下效果即可：

[root@k8s-master01 ~]# more pod-liveness-httpget.yaml
apiVersion: v1
kind: Pod
metadata:
  name: pod-liveness-httpget
  namespace: dev
spec:
  containers:
  - name: nginx
    image: nginx:1.17.1
    ports:
    - name: nginx-port
      containerPort: 80
    livenessProbe:
      httpGet:
        scheme: HTTP
        port: 80 
        path: /
      initialDelaySeconds: 30 # 容器啟動后30s開始探測
      timeoutSeconds: 5 # 探測超時時間為5s

5.3.5 重啟策略

在上一節中，一旦容器探測出現了問題，kubernetes就會對容器所在的Pod進行重啟，其實這是由pod的重啟策略決定的，pod的重啟策略有 3 種，分別如下：

• Always ：容器失效時，自動重啟該容器，這也是默認值。

• OnFailure ： 容器終止運行且退出碼不為0時重啟

• Never ： 不論狀態為何，都不重啟該容器

重啟策略適用於pod對象中的所有容器，首次需要重啟的容器，將在其需要時立即進行重啟，隨后再次需要重啟的操作將由kubelet延遲一段時間后進行，且反復的重啟操作的延遲時長以此為10s、20s、40s、80s、160s和300s，300s是最大延遲時長。

創建pod-restartpolicy.yaml：

apiVersion: v1
kind: Pod
metadata:
  name: pod-restartpolicy
  namespace: dev
spec:
  containers:
  - name: nginx
    image: nginx:1.17.1
    ports:
    - name: nginx-port
      containerPort: 80
    livenessProbe:
      httpGet:
        scheme: HTTP
        port: 80
        path: /hello
  restartPolicy: Never # 設置重啟策略為Never

運行Pod測試

# 創建Pod
[root@k8s-master01 ~]# kubectl create -f pod-restartpolicy.yaml
pod/pod-restartpolicy created

# 查看Pod詳情，發現nginx容器失敗
[root@k8s-master01 ~]# kubectl  describe pods pod-restartpolicy  -n dev
......
  Warning  Unhealthy  15s (x3 over 35s)  kubelet, node1     Liveness probe failed: HTTP probe failed with statuscode: 404
  Normal   Killing    15s                kubelet, node1     Container nginx failed liveness probe
  
# 多等一會，再觀察pod的重啟次數，發現一直是0，並未重啟   
[root@k8s-master01 ~]# kubectl  get pods pod-restartpolicy -n dev
NAME                   READY   STATUS    RESTARTS   AGE
pod-restartpolicy      0/1     Running   0          5min42s

5.4 Pod調度

在默認情況下，一個Pod在哪個Node節點上運行，是由Scheduler組件采用相應的算法計算出來的，這個過程是不受人工控制的。但是在實際使用中，這並不滿足的需求，因為很多情況下，我們想控制某些Pod到達某些節點上，那么應該怎么做呢？這就要求了解kubernetes對Pod的調度規則，kubernetes提供了四大類調度方式：

• 自動調度：運行在哪個節點上完全由Scheduler經過一系列的算法計算得出

• 定向調度：NodeName、NodeSelector

• 親和性調度：NodeAffinity、PodAffinity、PodAntiAffinity

• 污點（容忍）調度：Taints、Toleration

5.4.1 定向調度

定向調度，指的是利用在pod上聲明nodeName或者nodeSelector，以此將Pod調度到期望的node節點上。注意，這里的調度是強制的，這就意味着即使要調度的目標Node不存在，也會向上面進行調度，只不過pod運行失敗而已。

NodeName

NodeName用於強制約束將Pod調度到指定的Name的Node節點上。這種方式，其實是直接跳過Scheduler的調度邏輯，直接將Pod調度到指定名稱的節點。

接下來，實驗一下：創建一個pod-nodename.yaml文件

apiVersion: v1
kind: Pod
metadata:
  name: pod-nodename
  namespace: dev
spec:
  containers:
  - name: nginx
    image: nginx:1.17.1
  nodeName: node1 # 指定調度到node1節點上

#創建Pod
[root@k8s-master01 ~]# kubectl create -f pod-nodename.yaml
pod/pod-nodename created

#查看Pod調度到NODE屬性，確實是調度到了node1節點上
[root@k8s-master01 ~]# kubectl get pods pod-nodename -n dev -o wide
NAME           READY   STATUS    RESTARTS   AGE   IP            NODE      ......
pod-nodename   1/1     Running   0          56s   10.244.1.87   node1     ......   

# 接下來，刪除pod，修改nodeName的值為node3（並沒有node3節點）
[root@k8s-master01 ~]# kubectl delete -f pod-nodename.yaml
pod "pod-nodename" deleted
[root@k8s-master01 ~]# vim pod-nodename.yaml
[root@k8s-master01 ~]# kubectl create -f pod-nodename.yaml
pod/pod-nodename created

#再次查看，發現已經向Node3節點調度，但是由於不存在node3節點，所以pod無法正常運行
[root@k8s-master01 ~]# kubectl get pods pod-nodename -n dev -o wide
NAME           READY   STATUS    RESTARTS   AGE   IP       NODE    ......
pod-nodename   0/1     Pending   0          6s    <none>   node3   ......           

NodeSelector

NodeSelector用於將pod調度到添加了指定標簽的node節點上。它是通過kubernetes的label-selector機制實現的，也就是說，在pod創建之前，會由scheduler使用MatchNodeSelector調度策略進行label匹配，找出目標node，然后將pod調度到目標節點，該匹配規則是強制約束。

接下來，實驗一下：

1 首先分別為node節點添加標簽

[root@k8s-master01 ~]# kubectl label nodes node1 nodeenv=pro
node/node2 labeled
[root@k8s-master01 ~]# kubectl label nodes node2 nodeenv=test
node/node2 labeled

2 創建一個pod-nodeselector.yaml文件，並使用它創建Pod

apiVersion: v1
kind: Pod
metadata:
  name: pod-nodeselector
  namespace: dev
spec:
  containers:
  - name: nginx
    image: nginx:1.17.1
  nodeSelector: 
    nodeenv: pro # 指定調度到具有nodeenv=pro標簽的節點上

#創建Pod
[root@k8s-master01 ~]# kubectl create -f pod-nodeselector.yaml
pod/pod-nodeselector created

#查看Pod調度到NODE屬性，確實是調度到了node1節點上
[root@k8s-master01 ~]# kubectl get pods pod-nodeselector -n dev -o wide
NAME               READY   STATUS    RESTARTS   AGE     IP          NODE    ......
pod-nodeselector   1/1     Running   0          47s   10.244.1.87   node1   ......

# 接下來，刪除pod，修改nodeSelector的值為nodeenv: xxxx（不存在打有此標簽的節點）
[root@k8s-master01 ~]# kubectl delete -f pod-nodeselector.yaml
pod "pod-nodeselector" deleted
[root@k8s-master01 ~]# vim pod-nodeselector.yaml
[root@k8s-master01 ~]# kubectl create -f pod-nodeselector.yaml
pod/pod-nodeselector created

#再次查看，發現pod無法正常運行,Node的值為none
[root@k8s-master01 ~]# kubectl get pods -n dev -o wide
NAME               READY   STATUS    RESTARTS   AGE     IP       NODE    
pod-nodeselector   0/1     Pending   0          2m20s   <none>   <none>

# 查看詳情,發現node selector匹配失敗的提示
[root@k8s-master01 ~]# kubectl describe pods pod-nodeselector -n dev
.......
Events:
  Type     Reason            Age        From               Message
  ----     ------            ----       ----               -------
  Warning  FailedScheduling  <unknown>  default-scheduler  0/3 nodes are available: 3 node(s) didn't match node selector.

5.4.2 親和性調度

上一節，介紹了兩種定向調度的方式，使用起來非常方便，但是也有一定的問題，那就是如果沒有滿足條件的Node，那么Pod將不會被運行，即使在集群中還有可用Node列表也不行，這就限制了它的使用場景。

基於上面的問題，kubernetes還提供了一種親和性調度（Affinity）。它在NodeSelector的基礎之上的進行了擴展，可以通過配置的形式，實現優先選擇滿足條件的Node進行調度，如果沒有，也可以調度到不滿足條件的節點上，使調度更加靈活。

Affinity主要分為三類：

• nodeAffinity(node親和性）: 以node為目標，解決pod可以調度到哪些node的問題

• podAffinity(pod親和性) : 以pod為目標，解決pod可以和哪些已存在的pod部署在同一個拓撲域中的問題

• podAntiAffinity(pod反親和性) : 以pod為目標，解決pod不能和哪些已存在pod部署在同一個拓撲域中的問題

關於親和性(反親和性)使用場景的說明：

親和性：如果兩個應用頻繁交互，那就有必要利用親和性讓兩個應用的盡可能的靠近，這樣可以減少因網絡通信而帶來的性能損耗。

反親和性：當應用的采用多副本部署時，有必要采用反親和性讓各個應用實例打散分布在各個node上，這樣可以提高服務的高可用性。

NodeAffinity

首先來看一下NodeAffinity的可配置項：

pod.spec.affinity.nodeAffinity
  requiredDuringSchedulingIgnoredDuringExecution  Node節點必須滿足指定的所有規則才可以，相當於硬限制
    nodeSelectorTerms  節點選擇列表
      matchFields   按節點字段列出的節點選擇器要求列表
      matchExpressions   按節點標簽列出的節點選擇器要求列表(推薦)
        key    鍵
        values 值
        operator 關系符 支持Exists, DoesNotExist, In, NotIn, Gt, Lt
  preferredDuringSchedulingIgnoredDuringExecution 優先調度到滿足指定的規則的Node，相當於軟限制 (傾向)
    preference   一個節點選擇器項，與相應的權重相關聯
      matchFields   按節點字段列出的節點選擇器要求列表
      matchExpressions   按節點標簽列出的節點選擇器要求列表(推薦)
        key    鍵
        values 值
        operator 關系符 支持In, NotIn, Exists, DoesNotExist, Gt, Lt
	weight 傾向權重，在范圍1-100。

關系符的使用說明:

- matchExpressions:
  - key: nodeenv              # 匹配存在標簽的key為nodeenv的節點
    operator: Exists
  - key: nodeenv              # 匹配標簽的key為nodeenv,且value是"xxx"或"yyy"的節點
    operator: In
    values: ["xxx","yyy"]
  - key: nodeenv              # 匹配標簽的key為nodeenv,且value大於"xxx"的節點
    operator: Gt
    values: "xxx"

接下來首先演示一下requiredDuringSchedulingIgnoredDuringExecution ,

創建pod-nodeaffinity-required.yaml

apiVersion: v1
kind: Pod
metadata:
  name: pod-nodeaffinity-required
  namespace: dev
spec:
  containers:
  - name: nginx
    image: nginx:1.17.1
  affinity:  #親和性設置
    nodeAffinity: #設置node親和性
      requiredDuringSchedulingIgnoredDuringExecution: # 硬限制
        nodeSelectorTerms:
        - matchExpressions: # 匹配env的值在["xxx","yyy"]中的標簽
          - key: nodeenv
            operator: In
            values: ["xxx","yyy"]

# 創建pod
[root@k8s-master01 ~]# kubectl create -f pod-nodeaffinity-required.yaml
pod/pod-nodeaffinity-required created

# 查看pod狀態 （運行失敗）
[root@k8s-master01 ~]# kubectl get pods pod-nodeaffinity-required -n dev -o wide
NAME                        READY   STATUS    RESTARTS   AGE   IP       NODE    ...... 
pod-nodeaffinity-required   0/1     Pending   0          16s   <none>   <none>  ......

# 查看Pod的詳情
# 發現調度失敗，提示node選擇失敗
[root@k8s-master01 ~]# kubectl describe pod pod-nodeaffinity-required -n dev
......
  Warning  FailedScheduling  <unknown>  default-scheduler  0/3 nodes are available: 3 node(s) didn't match node selector.
  Warning  FailedScheduling  <unknown>  default-scheduler  0/3 nodes are available: 3 node(s) didn't match node selector.

#接下來，停止pod
[root@k8s-master01 ~]# kubectl delete -f pod-nodeaffinity-required.yaml
pod "pod-nodeaffinity-required" deleted

# 修改文件，將values: ["xxx","yyy"]------> ["pro","yyy"]
[root@k8s-master01 ~]# vim pod-nodeaffinity-required.yaml

# 再次啟動
[root@k8s-master01 ~]# kubectl create -f pod-nodeaffinity-required.yaml
pod/pod-nodeaffinity-required created

# 此時查看，發現調度成功，已經將pod調度到了node1上
[root@k8s-master01 ~]# kubectl get pods pod-nodeaffinity-required -n dev -o wide
NAME                        READY   STATUS    RESTARTS   AGE   IP            NODE  ...... 
pod-nodeaffinity-required   1/1     Running   0          11s   10.244.1.89   node1 ......

接下來再演示一下requiredDuringSchedulingIgnoredDuringExecution ,

創建pod-nodeaffinity-preferred.yaml

apiVersion: v1
kind: Pod
metadata:
  name: pod-nodeaffinity-preferred
  namespace: dev
spec:
  containers:
  - name: nginx
    image: nginx:1.17.1
  affinity:  #親和性設置
    nodeAffinity: #設置node親和性
      preferredDuringSchedulingIgnoredDuringExecution: # 軟限制
      - weight: 1
        preference:
          matchExpressions: # 匹配env的值在["xxx","yyy"]中的標簽(當前環境沒有)
          - key: nodeenv
            operator: In
            values: ["xxx","yyy"]

# 創建pod
[root@k8s-master01 ~]# kubectl create -f pod-nodeaffinity-preferred.yaml
pod/pod-nodeaffinity-preferred created

# 查看pod狀態 （運行成功）
[root@k8s-master01 ~]# kubectl get pod pod-nodeaffinity-preferred -n dev
NAME                         READY   STATUS    RESTARTS   AGE
pod-nodeaffinity-preferred   1/1     Running   0          40s

NodeAffinity規則設置的注意事項：
    1 如果同時定義了nodeSelector和nodeAffinity，那么必須兩個條件都得到滿足，Pod才能運行在指定的Node上
    2 如果nodeAffinity指定了多個nodeSelectorTerms，那么只需要其中一個能夠匹配成功即可
    3 如果一個nodeSelectorTerms中有多個matchExpressions ，則一個節點必須滿足所有的才能匹配成功
    4 如果一個pod所在的Node在Pod運行期間其標簽發生了改變，不再符合該Pod的節點親和性需求，則系統將忽略此變化

PodAffinity

PodAffinity主要實現以運行的Pod為參照，實現讓新創建的Pod跟參照pod在一個區域的功能。

首先來看一下PodAffinity的可配置項：

pod.spec.affinity.podAffinity
  requiredDuringSchedulingIgnoredDuringExecution  硬限制
    namespaces       指定參照pod的namespace
    topologyKey      指定調度作用域
    labelSelector    標簽選擇器
      matchExpressions  按節點標簽列出的節點選擇器要求列表(推薦)
        key    鍵
        values 值
        operator 關系符 支持In, NotIn, Exists, DoesNotExist.
      matchLabels    指多個matchExpressions映射的內容
  preferredDuringSchedulingIgnoredDuringExecution 軟限制
    podAffinityTerm  選項
      namespaces      
      topologyKey
      labelSelector
        matchExpressions  
          key    鍵
          values 值
          operator
        matchLabels 
    weight 傾向權重，在范圍1-100

topologyKey用於指定調度時作用域,例如:
    如果指定為kubernetes.io/hostname，那就是以Node節點為區分范圍
	如果指定為beta.kubernetes.io/os,則以Node節點的操作系統類型來區分

接下來，演示下requiredDuringSchedulingIgnoredDuringExecution,

1）首先創建一個參照Pod，pod-podaffinity-target.yaml：

apiVersion: v1
kind: Pod
metadata:
  name: pod-podaffinity-target
  namespace: dev
  labels:
    podenv: pro #設置標簽
spec:
  containers:
  - name: nginx
    image: nginx:1.17.1
  nodeName: node1 # 將目標pod名確指定到node1上

# 啟動目標pod
[root@k8s-master01 ~]# kubectl create -f pod-podaffinity-target.yaml
pod/pod-podaffinity-target created

# 查看pod狀況
[root@k8s-master01 ~]# kubectl get pods  pod-podaffinity-target -n dev
NAME                     READY   STATUS    RESTARTS   AGE
pod-podaffinity-target   1/1     Running   0          4s

2）創建pod-podaffinity-required.yaml，內容如下：

apiVersion: v1
kind: Pod
metadata:
  name: pod-podaffinity-required
  namespace: dev
spec:
  containers:
  - name: nginx
    image: nginx:1.17.1
  affinity:  #親和性設置
    podAffinity: #設置pod親和性
      requiredDuringSchedulingIgnoredDuringExecution: # 硬限制
      - labelSelector:
          matchExpressions: # 匹配env的值在["xxx","yyy"]中的標簽
          - key: podenv
            operator: In
            values: ["xxx","yyy"]
        topologyKey: kubernetes.io/hostname

上面配置表達的意思是：新Pod必須要與擁有標簽nodeenv=xxx或者nodeenv=yyy的pod在同一Node上，顯然現在沒有這樣pod，接下來，運行測試一下。

# 啟動pod
[root@k8s-master01 ~]# kubectl create -f pod-podaffinity-required.yaml
pod/pod-podaffinity-required created

# 查看pod狀態，發現未運行
[root@k8s-master01 ~]# kubectl get pods pod-podaffinity-required -n dev
NAME                       READY   STATUS    RESTARTS   AGE
pod-podaffinity-required   0/1     Pending   0          9s

# 查看詳細信息
[root@k8s-master01 ~]# kubectl describe pods pod-podaffinity-required  -n dev
......
Events:
  Type     Reason            Age        From               Message
  ----     ------            ----       ----               -------
  Warning  FailedScheduling  <unknown>  default-scheduler  0/3 nodes are available: 2 node(s) didn't match pod affinity rules, 1 node(s) had taints that the pod didn't tolerate.

# 接下來修改  values: ["xxx","yyy"]----->values:["pro","yyy"]
# 意思是：新Pod必須要與擁有標簽nodeenv=xxx或者nodeenv=yyy的pod在同一Node上
[root@k8s-master01 ~]# vim pod-podaffinity-required.yaml

# 然后重新創建pod，查看效果
[root@k8s-master01 ~]# kubectl delete -f  pod-podaffinity-required.yaml
pod "pod-podaffinity-required" deleted
[root@k8s-master01 ~]# kubectl create -f pod-podaffinity-required.yaml
pod/pod-podaffinity-required created

# 發現此時Pod運行正常
[root@k8s-master01 ~]# kubectl get pods pod-podaffinity-required -n dev
NAME                       READY   STATUS    RESTARTS   AGE   LABELS
pod-podaffinity-required   1/1     Running   0          6s    <none>

關於PodAffinity的 preferredDuringSchedulingIgnoredDuringExecution，這里不再演示。

PodAntiAffinity

PodAntiAffinity主要實現以運行的Pod為參照，讓新創建的Pod跟參照pod不在一個區域中的功能。

它的配置方式和選項跟PodAffinty是一樣的，這里不再做詳細解釋，直接做一個測試案例。

1）繼續使用上個案例中目標pod

[root@k8s-master01 ~]# kubectl get pods -n dev -o wide --show-labels
NAME                     READY   STATUS    RESTARTS   AGE     IP            NODE    LABELS
pod-podaffinity-required 1/1     Running   0          3m29s   10.244.1.38   node1   <none>     
pod-podaffinity-target   1/1     Running   0          9m25s   10.244.1.37   node1   podenv=pro

2）創建pod-podantiaffinity-required.yaml，內容如下：

apiVersion: v1
kind: Pod
metadata:
  name: pod-podantiaffinity-required
  namespace: dev
spec:
  containers:
  - name: nginx
    image: nginx:1.17.1
  affinity:  #親和性設置
    podAntiAffinity: #設置pod親和性
      requiredDuringSchedulingIgnoredDuringExecution: # 硬限制
      - labelSelector:
          matchExpressions: # 匹配podenv的值在["pro"]中的標簽
          - key: podenv
            operator: In
            values: ["pro"]
        topologyKey: kubernetes.io/hostname

上面配置表達的意思是：新Pod必須要與擁有標簽nodeenv=pro的pod不在同一Node上，運行測試一下。

# 創建pod
[root@k8s-master01 ~]# kubectl create -f pod-podantiaffinity-required.yaml
pod/pod-podantiaffinity-required created

# 查看pod
# 發現調度到了node2上
[root@k8s-master01 ~]# kubectl get pods pod-podantiaffinity-required -n dev -o wide
NAME                           READY   STATUS    RESTARTS   AGE   IP            NODE   .. 
pod-podantiaffinity-required   1/1     Running   0          30s   10.244.1.96   node2  ..

5.4.3 污點和容忍

污點（Taints）

前面的調度方式都是站在Pod的角度上，通過在Pod上添加屬性，來確定Pod是否要調度到指定的Node上，其實我們也可以站在Node的角度上，通過在Node上添加污點屬性，來決定是否允許Pod調度過來。

Node被設置上污點之后就和Pod之間存在了一種相斥的關系，進而拒絕Pod調度進來，甚至可以將已經存在的Pod驅逐出去。

污點的格式為：key=value:effect, key和value是污點的標簽，effect描述污點的作用，支持如下三個選項：

• PreferNoSchedule：kubernetes將盡量避免把Pod調度到具有該污點的Node上，除非沒有其他節點可調度

• NoSchedule：kubernetes將不會把Pod調度到具有該污點的Node上，但不會影響當前Node上已存在的Pod

• NoExecute：kubernetes將不會把Pod調度到具有該污點的Node上，同時也會將Node上已存在的Pod驅離

使用kubectl設置和去除污點的命令示例如下：

# 設置污點
kubectl taint nodes node1 key=value:effect

# 去除污點
kubectl taint nodes node1 key:effect-

# 去除所有污點
kubectl taint nodes node1 key-

接下來，演示下污點的效果：

1. 准備節點node1（為了演示效果更加明顯，暫時停止node2節點）

2. 為node1節點設置一個污點: tag=heima:PreferNoSchedule；然后創建pod1( pod1 可以 )

3. 修改為node1節點設置一個污點: tag=heima:NoSchedule；然后創建pod2( pod1 正常 pod2 失敗 )

4. 修改為node1節點設置一個污點: tag=heima:NoExecute；然后創建pod3 ( 3個pod都失敗 )

# 為node1設置污點(PreferNoSchedule)
[root@k8s-master01 ~]# kubectl taint nodes node1 tag=heima:PreferNoSchedule

# 創建pod1
[root@k8s-master01 ~]# kubectl run taint1 --image=nginx:1.17.1 -n dev
[root@k8s-master01 ~]# kubectl get pods -n dev -o wide
NAME                      READY   STATUS    RESTARTS   AGE     IP           NODE   
taint1-7665f7fd85-574h4   1/1     Running   0          2m24s   10.244.1.59   node1    

# 為node1設置污點(取消PreferNoSchedule，設置NoSchedule)
[root@k8s-master01 ~]# kubectl taint nodes node1 tag:PreferNoSchedule-
[root@k8s-master01 ~]# kubectl taint nodes node1 tag=heima:NoSchedule

# 創建pod2
[root@k8s-master01 ~]# kubectl run taint2 --image=nginx:1.17.1 -n dev
[root@k8s-master01 ~]# kubectl get pods taint2 -n dev -o wide
NAME                      READY   STATUS    RESTARTS   AGE     IP            NODE
taint1-7665f7fd85-574h4   1/1     Running   0          2m24s   10.244.1.59   node1 
taint2-544694789-6zmlf    0/1     Pending   0          21s     <none>        <none>   

# 為node1設置污點(取消NoSchedule，設置NoExecute)
[root@k8s-master01 ~]# kubectl taint nodes node1 tag:NoSchedule-
[root@k8s-master01 ~]# kubectl taint nodes node1 tag=heima:NoExecute

# 創建pod3
[root@k8s-master01 ~]# kubectl run taint3 --image=nginx:1.17.1 -n dev
[root@k8s-master01 ~]# kubectl get pods -n dev -o wide
NAME                      READY   STATUS    RESTARTS   AGE   IP       NODE     NOMINATED 
taint1-7665f7fd85-htkmp   0/1     Pending   0          35s   <none>   <none>   <none>    
taint2-544694789-bn7wb    0/1     Pending   0          35s   <none>   <none>   <none>     
taint3-6d78dbd749-tktkq   0/1     Pending   0          6s    <none>   <none>   <none>     

小提示：
    使用kubeadm搭建的集群，默認就會給master節點添加一個污點標記,所以pod就不會調度到master節點上.

容忍（Toleration）

上面介紹了污點的作用，我們可以在node上添加污點用於拒絕pod調度上來，但是如果就是想將一個pod調度到一個有污點的node上去，這時候應該怎么做呢？這就要使用到容忍。

污點就是拒絕，容忍就是忽略，Node通過污點拒絕pod調度上去，Pod通過容忍忽略拒絕

下面先通過一個案例看下效果：

1. 上一小節，已經在node1節點上打上了NoExecute的污點，此時pod是調度不上去的

2. 本小節，可以通過給pod添加容忍，然后將其調度上去

創建pod-toleration.yaml,內容如下

apiVersion: v1
kind: Pod
metadata:
  name: pod-toleration
  namespace: dev
spec:
  containers:
  - name: nginx
    image: nginx:1.17.1
  tolerations:      # 添加容忍
  - key: "tag"        # 要容忍的污點的key
    operator: "Equal" # 操作符
    value: "heima"    # 容忍的污點的value
    effect: "NoExecute"   # 添加容忍的規則，這里必須和標記的污點規則相同

# 添加容忍之前的pod
[root@k8s-master01 ~]# kubectl get pods -n dev -o wide
NAME             READY   STATUS    RESTARTS   AGE   IP       NODE     NOMINATED 
pod-toleration   0/1     Pending   0          3s    <none>   <none>   <none>           

# 添加容忍之后的pod
[root@k8s-master01 ~]# kubectl get pods -n dev -o wide
NAME             READY   STATUS    RESTARTS   AGE   IP            NODE    NOMINATED
pod-toleration   1/1     Running   0          3s    10.244.1.62   node1   <none>        

下面看一下容忍的詳細配置:

[root@k8s-master01 ~]# kubectl explain pod.spec.tolerations
......
FIELDS:
   key       # 對應着要容忍的污點的鍵，空意味着匹配所有的鍵
   value     # 對應着要容忍的污點的值
   operator  # key-value的運算符，支持Equal和Exists（默認）
   effect    # 對應污點的effect，空意味着匹配所有影響
   tolerationSeconds   # 容忍時間, 當effect為NoExecute時生效，表示pod在Node上的停留時間