043.Kubernetes集群存儲-共享存儲

本文轉載自查看原文 2020-03-26 12:42 1755 共享存儲/ PV/ PVC/ 集群相關/ Kubernetes

一共享存儲

1.1 共享存儲作用

 
         Kubernetes對於有狀態的容器應用或者對數據需要持久化的應用，不僅需要將容器內的目錄掛載到宿主機的目錄或者emptyDir臨時存儲卷，而且需要更加可靠的存儲來保存應用產生的重要數據，以便容器應用在重建之后仍然可以使用之前的數據。 
        

1.2 共享存儲資源

 
         為了能夠屏蔽底層存儲實現的細節，便於使用和管理，Kubernetes從1.0版本就引入PersistentVolume（PV）和PersistentVolumeClaim（PVC）兩個資源對象來實現對存儲的管理子系統。 
        

 
         PV是對底層網絡共享存儲的抽象，將共享存儲定義為一種“資源”，比如Node也是一種容器應用可以“消費”的資源。PV由管理員創建和配置，它與共享存儲的具體實現直接相關，例如GlusterFS、iSCSI、RBD或GCE或AWS公有雲提供的共享存儲，通過插件式的機制完成與共享存儲的對接，以供應用訪問和使用。 
        

 
         PVC則是用戶對存儲資源的一個“申請”。就像Pod“消費”Node的資源一樣，PVC能夠“消費”PV資源。PVC可以申請特定的存儲空間和訪問模式。 
        

 
         若使用PVC“申請”到一定的存儲空間仍然不能滿足應用對存儲設備的需求。比如通常應用程序都會對存儲設備的特性和性能有不同的要求，包括讀寫速度、並發性能、數據冗余等更高的要求，因此Kubernetes從1.4版本開始引入了一個新的資源對象StorageClass，用於標記存儲資源的特性和性能。 
        

 
         Kubernetes 1.6版本時，StorageClass和動態資源供應的機制得到了完善，實現了存儲卷的按需創建。通過StorageClass的定義，管理員可以將存儲資源定義為某種類別（Class），正如存儲設備對於自身的配置描述（Profile），例如“快速存儲”“慢速存儲”“有數據冗余”“無數據冗余”等。用戶根據StorageClass的描述就能夠直觀地得知各種存儲資源的特性，就可以根據應用對存儲資源的需求去申請存儲資源。 
        

 
         Kubernetes從1.9版本開始引入容器存儲接口Container Storage Interface（CSI）機制，目標是在Kubernetes和外部存儲系統之間建立一套標准的存儲管理接口，通過該接口為容器提供存儲服務，類似於CRI（容器運行時接口）和CNI（容器網絡接口）。 
        

二 PV

2.1 PV詳解

 
         PV作為存儲資源，主要包括存儲能力、訪問模式、存儲類型、回收策略、后端存儲類型等關鍵信息的設置。 
        

 
         示例1：如下聲明的PV具有如下屬性：5GiB存儲空間，訪問模式為ReadWriteOnce，存儲類型為slow（要求在系統中已存在名為slow的StorageClass），回收策略為Recycle，並且后端存儲類型為nfs（設置了NFS Server的IP地址和路徑）。 
        

 
         [root@k8smaster01 study]# vi nfspv01.yaml 
           
             1 apiVersion: v1
kind: PersistentVolume
metadata:
 name: pv1
spec:
 capacity:
   storage: 5Gi
 accessModes:
 - ReadWriteOnce
 persistentVolumeReclaimPolicy: Recycle
 storageClassName: slow
 nfs:
   path: /tmp
   server: 172.17.0.2 
          
 
        

 
         Kubernetes主要支持的PV類型如下： 
        

AWSElasticBlockStore：AWS公有雲提供的ElasticBlockStore。

AzureFile：Azure公有雲提供的File。

AzureDisk：Azure公有雲提供的Disk。

CephFS：一種開源共享存儲系統。

FC（FibreChannel）：光纖存儲設備。

FlexVolume：一種插件式的存儲機制。

Flocker：一種開源共享存儲系統。

GCEPersistentDisk：GCE公有雲提供的PersistentDisk。

Glusterfs：一種開源共享存儲系統。

HostPath：宿主機目錄，僅用於單機測試。

iSCSI：iSCSI存儲設備。

Local：本地存儲設備，從Kubernetes1.7版本引入，到1.14版本時更新為穩定版，目前可以通過指定塊（Block）設備提供LocalPV，或通過社區開發的sig-storage-local-static-provisioner插件（https://github.com/kubernetes-sigs/sigstorage-local-static-provisioner）來管理LocalPV的生命周期。

NFS：網絡文件系統。

PortworxVolumes：Portworx提供的存儲服務。

QuobyteVolumes：Quobyte提供的存儲服務。

RBD（CephBlockDevice）：Ceph塊存儲。

ScaleIOVolumes：DellEMC的存儲設備。

StorageOS：StorageOS提供的存儲服務。

VsphereVolume：VMWare提供的存儲系統。

2.2 PV配置參數

存儲能力（Capacity）

 
         描述存儲設備具備的能力，目前僅支持對存儲空間的設置（storage=xx），未來可能加入IOPS、吞吐率等指標的設置。 
        

存儲卷模式（VolumeMode）

 
         Kubernetes從1.13版本開始引入存儲卷類型的設置（volumeMode=xxx），可選項包括Filesystem（文件系統）和Block（塊設備），默認值為Filesystem。目前有以下PV類型支持塊設備類型： 
        

AWSElasticBlockStore

AzureDisk

GCEPersistentDisk

iSCSI

Localvolume

RBD（CephBlockDevice）

VsphereVolume（alpha）

 
         示例1：使用塊設備的PV定義。 
        

 
         [root@k8smaster01 study]# vi blockpv01.yaml 
        

  1 apiVersion: v1
  2 kind PersistentVolume
  3 metadata:
  4   name: block-pv
  5 spec:
  6   capacity:
  7     storage: 10Gi
  8   accessNodes:
  9   - ReadWriteOnce
 10   persistentVolumeReclaimPolicy: Retain
 11   volumeMode: Block
 12   fc:
 13     targetWWNs: ["50060e801049cfd1"]
 14     lun: 0
 15     readOnly: false
 16

訪問模式（Access Modes）

 
         對PV進行訪問模式的設置，用於描述用戶的應用對存儲資源的訪問權限，訪問模式如下： 
        

ReadWriteOnce（RWO）：讀寫權限，並且只能被單個Node掛載。

ReadOnlyMany（ROX）：只讀權限，允許被多個Node掛載。

ReadWriteMany（RWX）：讀寫權限，允許被多個Node掛載。

 
         某些PV可能支持多種訪問模式，但PV在掛載時只能使用一種訪問模式，多種訪問模式不能同時生效。 
        

存儲類別（Class）PV

 
         可以設定其存儲的類別，通過storageClassName參數指定一個StorageClass資源對象的名稱。具有特定類別的PV只能與請求了該類別的PVC進行綁定。未設定類別的PV則只能與不請求任何類別的PVC進行綁定。 
        

回收策略（ReclaimPolicy）

 
         通過PV定義中的persistentVolumeReclaimPolicy字段進行設置，可選項保留（Retain），回收（Recycle）和刪除（Delete）。 
        

保留：保留數據，需要手工處理。

回收空間：簡單清除文件的操作（例如執行rm-rf/thevolume/*命令）。

刪除：與PV相連的后端存儲完成Volume的刪除操作（如AWSEBS、GCEPD、AzureDisk、OpenStackCinder等設備的內部Volume清理）。

 
         目前，只有NFS和HostPath兩種類型的存儲支持Recycle策略； 
        

 
         AWSEBS、GCEPD、Azure Disk和Cinder volumes支持Delete策略。 
        

掛載參數（MountOptions）

 
         在將PV掛載到一個Node上時，根據后端存儲的特點，可能需要設置額外的掛載參數，可以根據PV定義中的mountOptions字段進行設置。 
        

 
         示例2：對一個類型為gcePersistentDisk的PV設置掛載參數。 
        

 
         [root@k8smaster01 study]# vi gccpv01.yaml 
        

  1 apiVersion: "v1"
  2 kind: "PersistentVolume"
  3 metadata:
  4   name: gce-disk-1
  5 spec:
  6   capacity:
  7     storage: "10Gi"
  8   accessModes:
  9   - "ReadWriteOnce"
 10   mountOptions:
 11   - hard
 12   - nolock
 13   - nfsvers=3
 14   gcePersistentDisk:
 15     fsType: "ext4"
 16     pdName: "gce-disk-1"
 17

 
         提示：以下PV類型支持設置掛載參數： 
        

AWSElasticBlockStore

AzureDisk

AzureFile

CephFS

Cinder(OpenStackblockstorage)

GCEPersistentDisk

Glusterfs

QuobyteVolumes

RBD(CephBlockDevice)

StorageOS

VsphereVolume

iSCSI

節點親和性（NodeAffinity）

 
         PV可以設置節點親和性來限制只能通過某些Node訪問Volume，可以在PV定義中的nodeAffinity字段進行設置。使用這些Volume的Pod將被調度到滿足條件的Node上。 
        

 
         示例3： 
        

 
         [root@k8smaster01 study]# vi affpv01.yaml 
        

  1 apiVersion: v1
  2 kind: PersistentVolume
  3 metadata:
  4   name: example-local-pv
  5 spec:
  6   capacity:
  7     storage: 5Gi
  8   accessModes:
  9   - ReadWriteOnce
 10   persistentVolumeReclaimPolicy: Delete
 11   storageClassName: local-storage
 12   local:
 13     path: /mnt/disks/ssd1
 14   nodeAffinity:
 15     required:
 16       nodeSelectorTerms:
 17       - mathExpressions:
 18         - key: kubernetes.io/hostname
 19           operator: In
 20           values:
 21           - my-node
 22

 
         注意：這個參數僅用於Local類型的存儲卷。 
        

三 PVC詳解

3.1 PVC使用

 
         PVC作為用戶對存儲資源的需求申請，主要包括存儲空間請求、訪問模式、PV選擇條件和存儲類別等信息的設置。 
        

 
         示例1：申明PVC，具有如下屬性：申請8GiB存儲空間，訪問模式為ReadWriteOnce，PV選擇條件為包含標簽“release=stable”並且包含條件為“environment In [dev]”的標簽，存儲類別為“slow”（要求在系統中已存在名為slow的StorageClass）。 
        

 
         [root@k8smaster01 study]# vi myclaim01.yaml 
        

  1 kind: PersistentVolumeClaim
  2 apiVersion: v1
  3 metadata:
  4   name: myclaim
  5 spec:
  6   accessModes:
  7   - ReadWriteOnce
  8   resources:
  9     requests:
 10       storage: 8Gi
 11   storageClassName: slow
 12   selector:
 13     matchLabels:
 14       release: "stable"
 15     matchExpressions:
 16     - {key: enviroment, operator: In, values: [dev] }
 17

3.2 PVC配置詳解

 
         PVC的關鍵配置參數說明如下： 
        

資源請求（Resources）：描述對存儲資源的請求，目前僅支持request.storage的設置，即存儲空間大小。

訪問模式（AccessModes）：PVC也可以設置訪問模式，用於描述用戶應用對存儲資源的訪問權限。其三種訪問模式的設置與PV的設置相同。

存儲卷模式（VolumeModes）：PVC也可以設置存儲卷模式，用於描述希望使用的PV存儲卷模式，包括文件系統和塊設備。

PV選擇條件（Selector）：通過對LabelSelector的設置，可使PVC對於系統中已存在的各種PV進行篩選。系統將根據標簽選出合適的PV與該PVC進行綁定。選擇條件可以使用matchLabels和matchExpressions進行設置，如果兩個字段都設置了，則Selector的邏輯將是兩組條件同時滿足才能完成匹配。

存儲類別（Class）：PVC在定義時可以設定需要的后端存儲的類別（通過storageClassName字段指定），以減少對后端存儲特性的詳細信息的依賴。只有設置了該Class的PV才能被系統選出，並與該PVC進行綁定。PVC也可以不設置Class需求。如果storageClassName字段的值被設置為空（storageClassName=""），則表示該PVC不要求特定的Class，系統將只選擇未設定Class的PV與之匹配和綁定。PVC也可以完全不設置storageClassName字段，此時將根據系統是否啟用了名為DefaultStorageClass的admissioncontroller進行相應的操作。

未啟用DefaultStorageClass：等效於PVC設置storageClassName的值為空（storageClassName=""），即只能選擇未設定Class的PV與之匹配和綁定。

啟用DefaultStorageClass：要求集群管理員已定義默認的StorageClass。如果在系統中不存在默認的StorageClass，則等效於不啟用DefaultStorageClass的情況。如果存在默認的StorageClass，則系統將自動為PVC創建一個PV（使用默認StorageClass的后端存儲），並將它們進行綁定。

 
         提示：設置默認StorageClass的方法為，在StorageClass的定義中加上一個annotation“storageclass.kubernetes.io/isdefault-class=true”。如果將多個StorageClass都定義為default，則由於不唯一，系統將無法為PVC創建相應的PV。 
        

 
         注意，PVC和PV都受限於Namespace，PVC在選擇PV時受到Namespace的限制，只有相同Namespace中的PV才可能與PVC綁定。Pod在引用PVC時同樣受Namespace的限制，只有相同Namespace中的PVC才能掛載到Pod內。當Selector和Class都進行了設置時，系統將選擇兩個條件同時滿足的PV與之匹配。另外，如果資源供應使用的是動態模式，即沒有預先定義PV，僅通過StorageClass交給系統自動完成PV的動態創建，那么PVC再設定Selector時，系統將無法為其供應任何存儲資源。 
        

 
         在啟用動態供應模式的情況下，一旦用戶刪除了PVC，與之綁定的PV也將根據其默認的回收策略“Delete”被刪除。如果需要保留PV（用戶數據），則在動態綁定成功后，用戶需要將系統自動生成PV的回收策略從“Delete”改成“Retain”。 
        

四 PV和PVC生命周期管理

4.1 PV生命周期

 
         某個PV在生命周期中可能處於以下4個階段（Phaes）之一。 
        

Available：可用狀態，還未與某個PVC綁定。

Bound：已與某個PVC綁定。

Released：綁定的PVC已經刪除，資源已釋放，但沒有被集群回收。

Failed：自動資源回收失敗。

4.2 PVC生命周期

 
         將PV看作可用的存儲資源，PVC則是對存儲資源的需求，PV和PVC的相互關系遵循如下所示關系： 
        

4.3 資源供應

 
         Kubernetes支持兩種資源的供應模式：靜態模式（Static）和動態模式（Dynamic），資源供應的目的就是創建好PV。 
        

靜態模式：集群管理員手工創建許多PV，在定義PV時需要將后端存儲的特性進行設置。

動態模式：集群管理員無須手工創建PV，而是通過StorageClass的設置對后端存儲進行描述，標記為某種類型。此時要求PVC對存儲的類型進行聲明，系統將自動完成PV的創建及與PVC的綁定。

 
         注意；PVC可以聲明Class為""，說明該PVC禁止使用動態模式。 
        

4.4 資源綁定

 
         在用戶定義好PVC之后，系統將根據PVC對存儲資源的請求（存儲空間和訪問模式）在已存在的PV中選擇一個滿足PVC要求的PV，一旦找到，就將該PV與用戶定義的PVC進行綁定，用戶的Pod應用就可以使用這個PVC了。 
        

 
         如果在系統中沒有滿足PVC要求的PV，PVC則會無限期處於Pending狀態，直到等到系統管理員創建了一個符合其要求的PV。 
        

 
         PV一旦綁定到某個PVC上，就會被這個PVC獨占，不能再與其他PVC進行綁定了。在這種情況下，當PVC申請的存儲空間比PV的少時，整個PV的空間就都能夠為PVC所用，可能會造成資源的浪費。 
        

 
         如果資源供應使用的是動態模式，則系統在為PVC找到合適的StorageClass后，將自動創建一個PV並完成與PVC的綁定。 
        

4.5 資源使用

 
         Pod使用Volume的定義，將PVC掛載到容器內的某個路徑進行使用。Volume的類型為persistentVolumeClaim。在容器應用掛載了一個PVC后，就能被持續獨占使用。 
        

 
         不過，多個Pod可以掛載同一個PVC，由應用程序自身考慮多個實例共同訪問一塊存儲空間的問題。 
        

4.6 資源釋放

 
         當用戶對存儲資源使用完畢后，用戶可以刪除PVC，與該PVC綁定的PV將會被標記為“已釋放”，但還不能立刻與其他PVC進行綁定。通過之前PVC寫入的數據可能還被留在存儲設備上，只有在清除之后該PV才能再次使用。 
        

4.7 資源回收

 
         對於PV，可以設定回收策略，用於設置與之綁定的PVC釋放資源之后如何處理遺留數據的問題。只有PV的存儲空間完成回收，才能供新的PVC綁定和使用。 
        

 
         靜態資源供應模式下，PV、PVC、StorageClass及Pod使用PVC的原理釋義說明： 
        

 
         動態資源供應模式下，PV、PVC、StorageClass及Pod使用PVC的原理釋義說明： 
        

 
         提示：更多StorageClass見《044.集群存儲-StorageClass》。 
        

 
         更多存儲類型參考：https://www.cnblogs.com/Irving/p/9847060.html 
        

免責聲明！

本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。

猜您在找 Kubernetes存儲——ceph（集群） Kubernetes存儲——glusterfs（集群） Kubernetes創建掛載共享存儲的容器 044.Kubernetes集群存儲-StorageClass Kubernetes容器集群 - Secret（特殊存儲卷） Kubernetes集群使用網絡存儲NFS Kubernetes使用Rook部署Ceph存儲集群 045.Kubernetes集群存儲-CSI存儲機制 Kubernetes之存儲 Kubernetes存儲-Ceph存儲

043.Kubernetes集群存儲-共享存儲

一 共享存儲

1.1 共享存儲作用

1.2 共享存儲資源

二 PV

2.1 PV詳解

2.2 PV配置參數

三 PVC詳解

3.1 PVC使用

3.2 PVC配置詳解

四 PV和PVC生命周期管理

4.1 PV生命周期

4.2 PVC生命周期

4.3 資源供應

4.4 資源綁定

4.5 資源使用

4.6 資源釋放

4.7 資源回收

免責聲明！

一共享存儲