Kubernetes（k8s）的存儲PV-PVC詳細介紹

概念 

PersistentVolume （PV） 

是由管理員設置的存儲，它是群集的一部分。就像節點是集群中的資源一樣，PV 也是集群中的資源。 PV 是 Volume 之類的卷插件，但具有獨立於使用 PV 的 Pod 的生命周期。此 API 對象包含存儲實現的細節，即 NFS、 iSCSI 或特定於雲供應商的存儲系統 

PersistentVolumeClaim （PVC）

是用戶存儲的請求。它與 Pod 相似。Pod 消耗節點資源，PVC 消耗 PV 資源。Pod 可以請求特定級別的資源 （CPU 和內存）。聲明可以請求特定的大小和訪問模式（例如，可以以讀/寫一次或 只讀多次模式掛載）

靜態 pv 

集群管理員創建一些 PV。它們帶有可供群集用戶使用的實際存儲的細節。它們存在於 Kubernetes API 中，可用 於消費

動態 

當管理員創建的靜態 PV 都不匹配用戶的 PersistentVolumeClaim 時，集群可能會嘗試動態地為 PVC 創建卷。此 配置基於StorageClasses ：PVC 必須請求 [存儲類]，並且管理員必須創建並配置該類才能進行動態創建。聲明該 類為 "" 可以有效地禁用其動態配置

要啟用基於存儲級別的動態存儲配置，集群管理員需要啟用 API server 上的 DefaultStorageClass [准入控制器] 。例如，通過確保 DefaultStorageClass 位於 API server 組件的 --admission-control 標志，使用逗號分隔的 有序值列表中，可以完成此操作

綁定 

master 中的控制環路監視新的 PVC，尋找匹配的 PV（如果可能），並將它們綁定在一起。如果為新的 PVC 動態 調配 PV，則該環路將始終將該 PV 綁定到 PVC。否則，用戶總會得到他們所請求的存儲，但是容量可能超出要求 的數量。一旦 PV 和 PVC 綁定后， PersistentVolumeClaim 綁定是排他性的，不管它們是如何綁定的。 PVC 跟 PV 綁定是一對一的映射 

持久化卷聲明的保護 

PVC 保護的目的是確保由 pod 正在使用的 PVC 不會從系統中移除，因為如果被移除的話可能會導致數據丟失

當啟用PVC 保護 alpha 功能時，如果用戶刪除了一個 pod 正在使用的 PVC，則該 PVC 不會被立即刪除。PVC 的 刪除將被推遲，直到 PVC 不再被任何 pod 使用
 

持久化卷類型 

PersistentVolume 類型以插件形式實現。Kubernetes 目前支持以下插件類型： 

• GCEPersistentDisk   AWSElasticBlockStore  AzureFile  AzureDisk  FC (Fibre Channel)
• FlexVolume  Flocker  NFS  iSCSI  RBD (Ceph Block Device)  CephFS
• Cinder (OpenStack block storage)  Glusterfs  VsphereVolume  Quobyte Volumes
• HostPath   VMware Photon  Portworx Volumes  ScaleIO Volumes  StorageOS

持久卷演示代碼
 

apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv0003
spec:
  capacity:
    storage: 5Gi
  volumeMode: Filesystem
  accessModes:
    - ReadWriteOnce
  persistentVolumeReclaimPolicy: Recycle
  storageClassName: slow
  mountOptions:
    - hard
    - nfsvers=4.1
  nfs:
    path: /tmp
    server: 172.17.0.2

PV 訪問模式 

PersistentVolume 可以以資源提供者支持的任何方式掛載到主機上。如下表所示，供應商具有不同的功能，每個 PV 的訪問模式都將被設置為該卷支持的特定模式。例如，NFS 可以支持多個讀/寫客戶端，但特定的 NFS PV 可能 以只讀方式導出到服務器上。每個 PV 都有一套自己的用來描述特定功能的訪問模式 

• ReadWriteOnce——該卷可以被單個節點以讀/寫模式掛載
• ReadOnlyMany——該卷可以被多個節點以只讀模式掛載
• ReadWriteMany——該卷可以被多個節點以讀/寫模式掛載

在命令行中，訪問模式縮寫為：

• RWO - ReadWriteOnce
• ROX - ReadOnlyMany
• RWX - ReadWriteMany

回收策略

• Retain（保留）——手動回收
• Recycle（回收）——基本擦除（ rm -rf /thevolume/*  ）
• Delete（刪除）——關聯的存儲資產（例如 AWS EBS、GCE PD、Azure Disk 和 OpenStack Cinder 卷）將被刪除

當前，只有 NFS 和 HostPath 支持回收策略。AWS EBS、GCE PD、Azure Disk 和 Cinder 卷支持刪除策略

狀態

卷可以處於以下的某種狀態：

• Available（可用）——一塊空閑資源還沒有被任何聲明綁定
• Bound（已綁定）——卷已經被聲明綁定
• Released（已釋放）——聲明被刪除，但是資源還未被集群重新聲明

 Failed（失敗）——該卷的自動回收失敗
命令行會顯示綁定到 PV 的 PVC 的名稱

持久化演示說明 - NFS 

Ⅰ、安裝 NFS 服務器

yum install -y nfs-common nfs-utils  rpcbind
mkdir /nfsdata
chmod 666 /nfsdata
chown nfsnobody /nfsdata
cat /etc/exports
    /nfsdata *(rw,no_root_squash,no_all_squash,sync)
systemctl start rpcbind
systemctl start nfs

NFS已經成功了

Ⅱ、部署 PV 

apiVersion: v1
kind: PersistentVolume
metadata:
  name: nfspv1
spec:
  capacity:
    storage: 1Gi
  accessModes:
    - ReadWriteOnce
  persistentVolumeReclaimPolicy: Retain
  storageClassName: nfs
  nfs:
    path: /nfsdata
    server: 192.168.116.131

Ⅲ、創建服務並使用 PVC 

apiVersion: v1
kind: Service
metadata:
  name: nginx
  labels:
    app: nginx
spec:
  ports:
  - port: 80
    name: web
  clusterIP: None
  selector:
    app: nginx
---
apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: web
spec:
  selector:
    matchLabels:
      app: nginx
  serviceName: "nginx"
  replicas: 3
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - name: nginx
        image: wangyanglinux/myapp:v1
        ports:
        - containerPort: 80
          name: web
        volumeMounts:
        - name: www
          mountPath: /usr/share/nginx/html
  volumeClaimTemplates:
  - metadata:
      name: www
    spec:
      accessModes: [ "ReadWriteOnce" ]
      storageClassName: "nfs"
      resources:
        requests:
          storage: 10Gi

 

關於 StatefulSet 

匹配 Pod name ( 網絡標識 ) 的模式為：$(statefulset名稱)-$(序號)，比如上面的示例：web-0，web-1，web-2

• StatefulSet 為每個 Pod 副本創建了一個 DNS 域名，這個域名的格式為： $(podname).(headless server name)，也就意味着服務間是通過Pod域名來通信而非 Pod IP，因為當Pod所在Node發生故障時， Pod 會被飄移到其它 Node 上，Pod IP 會發生變化，但是 Pod 域名不會有變化
• StatefulSet 使用 Headless 服務來控制 Pod 的域名，這個域名的 FQDN 為：$(service name).$(namespace).svc.cluster.local，其中，“cluster.local” 指的是集群的域名
• 根據 volumeClaimTemplates，為每個 Pod 創建一個 pvc，pvc 的命名規則匹配模式：(volumeClaimTemplates.name)-(pod_name)，比如上面的 volumeMounts.name=www， Pod name=web-[0-2]，因此創建出來的 PVC 是 www-web-0、www-web-1、www-web-2
• 刪除 Pod 不會刪除其 pvc，手動刪除 pvc 將自動釋放 pv

Statefulset的啟停順序：

• 有序部署：部署StatefulSet時，如果有多個Pod副本，它們會被順序地創建（從0到N-1）並且，在下一個Pod運行之前所有之前的Pod必須都是Running和Ready狀態。
• 有序刪除：當Pod被刪除時，它們被終止的順序是從N-1到0。
• 有序擴展：當對Pod執行擴展操作時，與部署一樣，它前面的Pod必須都處於Running和Ready狀態。

StatefulSet使用場景：

• 穩定的持久化存儲，即Pod重新調度后還是能訪問到相同的持久化數據，基於 PVC 來實現。
• 穩定的網絡標識符，即 Pod 重新調度后其 PodName 和 HostName 不變。
• 有序部署，有序擴展，基於 init containers 來實現。
• 有序收縮。