k8s之數據存儲-高級存儲

PV和PVC

前面已經學習了使用NFS提供存儲，此時就會要求用戶會搭建NFS系統，並且會在yaml配置nf's，由於k8s支持的存儲系統有很多，要求客戶全部掌握，顯然不現實。為了能夠屏蔽底層存儲實現的細節，方便用戶使用，k8s引入PV和PVC兩種資源對象。

PV（Persistent Volume）是持久化卷的意思，是對底層的共享存儲的一種抽象。一般情況下PV由k8s管理員進行創建和配置，它與底層具體的共享存儲技術有關，並通過插件完成與共享存儲的對接。

PVC（Persistent Volume Claim）是持久卷聲明的意思，是用戶對於存儲需求的一種聲明。換句話說，PVC其實就是用戶向k8s系統發出的一種資源需求申請。

PV

PV是存儲資源的抽象，下面是資源清單文件：

apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv2
spec:
  nfs: #存儲類型，與底層真正存儲對應
  capacity:  #存儲能力，目前只支持存儲空間的設置
    storage: 2Gi
accessModes: #訪問模式
storageClassName:  #存儲類別
persistentVolumeReclaimPolicy: #回收策略

關鍵配置參數

PV的關鍵配置參數說明：

• 存儲類型：底層實際存儲的類型，k8s支持多種存儲類型，每種存儲類型的配置都有所差異
• 存儲能力（capacity）：目前只支持存儲空間的設置（storage=1Gi），不過未來可能會加入IOPS、吞吐量等指標的配置
• 訪問模式（accessModes）：用於描述用戶應用對存儲資源的訪問權限，訪問權限包括下面幾種方式：

1. ReadWriteOnce（RWO）：讀寫權限，但是只能被單個節點掛載
2. ReadOnlyMany（ROX）：只讀權限，可以被多個節點掛載
3. ReadWriteMany（RWX）：讀寫權限，可以被多個節點掛載

         需要注意的是，底層不同的存儲類型可能支持的訪問模式不同

• 回收策略（persistentVolumeReclaimPolicy)：當PV不再被使用了之后，對其的處理方式。目前支持三種策略：

1. Retain（保留）：保留數據，需要管理員手動清理數據
2. Recycle（回收）：清除PV中的數據，效果相當於執行 rm -rf /thevolume/*
3. Delete（刪除）：與PV相連的后端存儲完成volume的刪除操作，當然這常見於雲服務商的存儲服務

         需要注意的是，底層不同的存儲類型可能支持的回收策略不同

• 存儲類別：PV可以通過storageClassName參數指定一個存儲類別

1. 具有特定類別的PV只能與請求了該類別的PVC進行綁定
2. 未設定類別的PV只能與不請求任何類別的PVC進行綁定

• 狀態（status）：一個PV的生命周期中，可能會處於4種不同的階段：

1. Available（可用）：表示可用狀態，還未被任何PVC綁定
2. Bound（已綁定）：表示PV已經被PVC綁定
3. Released（已釋放）：表示PVC被刪除，但是資源還未被集群重新聲明
4. Failed（失敗）：表示該PV的自動回收失敗

實驗

使用NFS作為存儲，演示PV的使用，創建3個PV，對應NFS中的3個暴露的路徑。

准備NFS環境

#創建目錄
[root@master ~]# mkdir /root/data/{pv1,pv2,pv3} -pv
mkdir: 已創建目錄 "/root/data/pv1"
mkdir: 已創建目錄 "/root/data/pv2"
mkdir: 已創建目錄 "/root/data/pv3"

#暴露服務
[root@master ~]# vim /etc/exports
[root@master ~]# more /etc/exports
/root/data/nfs     你master虛擬機的IP地址前9位.0/24(rw,no_root_squash)
/root/data/pv1     你master虛擬機的IP地址前9位.0/24(rw,no_root_squash)
/root/data/pv2     你master虛擬機的IP地址前9位.0/24(rw,no_root_squash)
/root/data/pv3     你master虛擬機的IP地址前9位.0/24(rw,no_root_squash)

#重啟服務
[root@master ~]# systemctl restart nfs

創建pv.yaml

apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv1
spec:
  capacity:  #存儲能力，目前只支持存儲空間的設置
    storage: 1Gi
  accessModes:
  - ReadWriteMany
  persistentVolumeReclaimPolicy: Retain
  nfs:
    path: /root/data/pv1
    server: 192.168.145.131

---

apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv2
spec:
  capacity:  
    storage: 2Gi
  accessModes:
  - ReadWriteMany
  persistentVolumeReclaimPolicy: Retain
  nfs:
    path: /root/data/pv2
    server: 192.168.145.131

---

apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv3
spec:
  capacity:  
    storage: 3Gi
  accessModes:
  - ReadWriteMany
  persistentVolumeReclaimPolicy: Retain
  nfs:
    path: /root/data/pv3
    server: 192.168.145.131

使用配置文件

[root@master ~]# vim pv.yaml
[root@master ~]# kubectl create -f pv.yaml 
persistentvolume/pv1 created
persistentvolume/pv2 created
persistentvolume/pv3 created
[root@master ~]# kubectl get pv -o wide
NAME   CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM   STORAGECLASS   REASON   AGE   VOLUMEMODE
pv1    1Gi        RWX            Retain           Available                                   82s   Filesystem
pv2    2Gi        RWX            Retain           Available                                   82s   Filesystem
pv3    3Gi        RWX            Retain           Available                                   81s   Filesystem

PVC

PVC是資源的申請，用來聲明對存儲空間、訪問模式、存儲類別需求信息。下面是資源清單文件：

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: pvc
  namespace: dev
spec:
  accessModes:  #訪問模式
  selector: #采用標簽對PV選擇
  storageClassName: #存儲類別
  resources:  #請求空間
    requests:
      storage: 5Gi

關鍵配置參數

• 訪問模式（accessModes）：用於描述用戶應用對存儲資源的訪問權限
• 選擇條件（selector）：通過Label Selector的設置，可使PVC對於系統中已存在的PV進行篩選
• 存儲類別（storageClassName）：PVC在定義時可以設定需要的后端存儲的類別，只有設置了該class的pv才能被系統選出
• 資源請求（Resources）：描述對存儲資源的請求

實驗

創建pvc.yaml，申請pv

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: pvc1
  namespace: dev
spec:
  accessModes:  
  - ReadWriteMany
  resources:  #請求空間
    requests:
      storage: 1Gi

---

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: pvc2
  namespace: dev
spec:
  accessModes:  
  - ReadWriteMany
  resources:  #請求空間
    requests:
      storage: 1Gi

---

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: pvc3
  namespace: dev
spec:
  accessModes:  
  - ReadWriteMany
  resources:  #請求空間
    requests:
      storage: 5Gi

使用配置文件

[root@master ~]# vim pvc.yaml
[root@master ~]# kubectl create -f pvc.yaml 
persistentvolumeclaim/pvc1 created
persistentvolumeclaim/pvc2 created
persistentvolumeclaim/pvc3 created

#查看pvc
[root@master ~]# kubectl get pvc -n dev 
NAME   STATUS    VOLUME   CAPACITY   ACCESS MODES   STORAGECLASS   AGE
pvc1   Bound     pv1      1Gi        RWX                           10s
pvc2   Bound     pv2      2Gi        RWX                           9s
pvc3   Pending                                                     9s

#查看pv
[root@master ~]# kubectl get pv -o wide
NAME   CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM      STORAGECLASS   REASON   AGE   VOLUMEMODE
pv1    1Gi        RWX            Retain           Bound       dev/pvc1                           19m   Filesystem
pv2    2Gi        RWX            Retain           Bound       dev/pvc2                           19m   Filesystem
pv3    3Gi        RWX            Retain           Available                                      19m   Filesystem

創建pods.yaml，使用pv

apiVersion: v1
kind: Pod
metadata: 
  name: pod1
  namespace: dev
spec:
  containers:
  - name: busybox
    image: busybox:1.30
    command: ["/bin/sh","-c","while true;do echo pod1 >> /root/out.txt;sleep 10; done;"] #初始命令，動態讀取指定文件中內容
    volumeMounts: 
    - name: volume
      mountPath: /root/
  volumes:
  - name: volume
    persistentVolumeClaim:
      claimName: pvc1
      readOnly: false

---

apiVersion: v1
kind: Pod
metadata: 
  name: pod2
  namespace: dev
spec:
  containers:
  - name: busybox
    image: busybox:1.30
    command: ["/bin/sh","-c","while true;do echo pod2 >> /root/out.txt;sleep 10; done;"] #初始命令，動態讀取指定文件中內容
    volumeMounts: 
    - name: volume
      mountPath: /root/
  volumes:
  - name: volume
    persistentVolumeClaim:
      claimName: pvc2
      readOnly: false

使用配置文件

[root@master ~]# vim pods.yaml 
[root@master ~]# kubectl create -f pods.yaml 
pod/pod1 created
pod/pod2 created
[root@master ~]# kubectl get pod -n dev
NAME   READY   STATUS    RESTARTS   AGE
pod1   1/1     Running   0          99s
pod2   1/1     Running   0          99s

查看掛載狀況

#查看pv1
[root@master ~]# ls /root/data/pv1
out.txt
[root@master ~]# tail -f /root/data/pv1/out.txt 
pod1
pod1
pod1
pod1
pod1
pod1

#查看pv2
[root@master ~]# ls /root/data/pv2
out.txt
[root@master ~]# tail -f /root/data/pv2/out.txt 
pod2
pod2
pod2
pod2
pod2

刪除pv和pvc

[root@master ~]# kubectl delete -f pods.yaml 
pod "pod1" deleted
pod "pod2" deleted
[root@master ~]# kubectl delete -f pvc.yaml 
persistentvolumeclaim "pvc1" deleted
persistentvolumeclaim "pvc2" deleted
persistentvolumeclaim "pvc3" deleted

查看pv狀態，可以發現pv1和pv2已被釋放

[root@master ~]# kubectl get pv
NAME   CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM      STORAGECLASS   REASON   AGE
pv1    1Gi        RWX            Retain           Released    dev/pvc1                           24h
pv2    2Gi        RWX            Retain           Released    dev/pvc2                           24h
pv3    3Gi        RWX            Retain           Available                                      24h

生命周期

PVC和PV是一一對應的，PV和PVC之間的相互作用遵循以下生命周期：

• 資源供應：管理員手動創建底層存儲和PV
• 資源綁定：用戶創建PVC，k8s負責根據PVC的聲明去尋找PV，並綁定

　　在用戶定義好PVC之后，系統將根據PVC對存儲資源的請求在已存在的PV種選擇一個滿足條件的

1. 一旦找到，就將該PV與用戶定義的PVC進行綁定，用戶的應用就可以使用這個PVC了
2. 如果找不到，PVC則會無限處於Pending狀態，直到等到系統管理員創建了一個符合其要求的PV

　　PV一旦綁定到某個PVC上，就會被這個PVC獨占，不能再與其他PVC進行綁定了

• 資源使用：用戶可在pod中像volume一樣使用pvc

　　Pod使用volume的定義，將pvc掛載到容器內的某個路徑進行使用

• 資源釋放：用戶刪除pvc來釋放pv

　　當存儲資源使用完畢之后，用戶可以刪除pvc，與該pvc綁定的pv將會被標記為“已釋放”，但還不能立刻與其他PVC進行綁定。通過之前PVC寫入的數據可能還被留在存儲設備上，只有在清除之后該PV才　　　　能再次使用

• 資源回收：k8s根據pv設置的回收策略進行資源的回收

　　對於pv，管理員可以設定回收策略，用於設置與之綁定的pvc釋放資源之后如何處理遺留數據的問題。只有PV的存儲空間完成回收，才能供新的PVC綁定和使用