k8s--持久化存儲
一、k8s持久化存儲概述
1.1、為什么要做持久化存儲
在k8s中部署的應用都是以pod容器的形式運行的，假如我們部署MySQL、Redis等數據庫，需要對這些數據庫產生的數據做備份。因為Pod是有生命周期的，如果pod不掛載數據卷，那pod被刪除或重啟后這些數據會隨之消失，如果想要長久的保留這些數據就要用到pod數據持久化存儲
1.2、k8s支持存儲類型
# 查看k8s支持的存儲
[root@k8s-master1 ~]# kubectl explain pods.spec.volumes
# 常用的存儲
# emptyDir、hostPath、nfs、persistentVolumeClaim、glusterfs、cephfs、configMap、secret
我們想要使用存儲卷，需要經歷如下步驟：
- 定義pod的volume，這個volume指明它要關聯到哪個存儲上的
- 在容器中要使用volumemounts掛載對應的存儲
二、k8s常用存儲類型
2.1、emptyDir
emptyDir類型的Volume是在Pod分配到Node上時被創建，Kubernetes會在Node上自動分配一個目錄，因此無需指定宿主機Node上對應的目錄文件。 這個目錄的初始內容為空，當Pod從Node上移除時，emptyDir中的數據會被永久刪除。emptyDir Volume主要用於某些應用程序無需永久保存的臨時目錄，多個容器的共享目錄等。
Emptydir的官方網址：https://kubernetes.io/docs/concepts/storage/volumes#emptydir
[root@k8s-master1 ~]# cat emptydir.yaml
apiVersion: v1
kind: Pod
metadata:
name: pod-empty
spec:
containers:
- name: container-empty
image: nginx
imagePullPolicy: IfNotPresent
volumeMounts:
- mountPath: /cache
name: cache-volume
volumes:
- emptyDir: {}
name: cache-volume
# 更新資源清單文件
[root@k8s-master1 ~]# kubectl apply -f emptydir.yaml
pod/pod-empty created
# 查看本機臨時目錄存在的位置，可用如下方法：
# 查看pod調度到哪個節點
[root@k8s-master1 ~]# kubectl get pods -o wide | grep empty
pod-empty 1/1 Running 0 12s 10.244.36.117 k8s-node1 <none> <none>
# 查看pod的uid
[root@k8s-master1 ~]# kubectl get pods pod-empty -o yaml | grep uid
uid: ba7abc07-b984-49d2-a46f-01bac9a7f5ec
# 登錄到k8s-node1上
[root@k8s-node1 ~]# tree /var/lib/kubelet/pods/ba7abc07-b984-49d2-a46f-01bac9a7f5ec
/var/lib/kubelet/pods/ba7abc07-b984-49d2-a46f-01bac9a7f5ec
├── containers
│ └── container-empty
│ └── da09ccbb
├── etc-hosts
├── plugins
│ └── kubernetes.io~empty-dir
│ ├── cache-volume
│ │ └── ready
│ └── wrapped_default-token-cm4mx
│ └── ready
└── volumes
├── kubernetes.io~empty-dir
│ └── cache-volume
└── kubernetes.io~secret
└── default-token-cm4mx
├── ca.crt -> ..data/ca.crt
├── namespace -> ..data/namespace
└── token -> ..data/token
# 臨時目錄在本地的/var/lib/kubelet/pods/ba7abc07-b984-49d2-a46f-01bac9a7f5ec/volumes/kubernetes.io~empty-dir/cache-volume/下
# 在臨時目錄創建文件並進入容器查看
[root@k8s-node1 ~]# cd /var/lib/kubelet/pods/ba7abc07-b984-49d2-a46f-01bac9a7f5ec/volumes/kubernetes.io~empty-dir/cache-volume/
[root@k8s-node1 cache-volume]# echo 123 > a.txt
[root@k8s-master1 ~]# kubectl get pods
NAME READY STATUS RESTARTS AGE
pod-empty 1/1 Running 0 4m4s
[root@k8s-master1 ~]# kubectl exec -it pod-empty -- cat /cache/a.txt
123
2.2、hostPath
hostPath Volume是指Pod掛載宿主機上的目錄或文件。 hostPath Volume使得容器可以使用宿主機的文件系統進行存儲，hostpath（宿主機路徑）：節點級別的存儲卷，在pod被刪除，這個存儲卷還是存在的，不會被刪除，所以只要同一個pod被調度到同一個節點上來，在pod被刪除重新被調度到這個節點之后，對應的數據依然是存在的。
# 創建一個pod，掛載hostPath存儲卷
[root@k8s-master1 ~]# cat hostpath.yaml
apiVersion: v1
kind: Pod
metadata:
name: test-hostpath
spec:
#nodeName: k8s-node1
containers:
- image: nginx
name: test-nginx
imagePullPolicy: IfNotPresent
volumeMounts:
- mountPath: /test-nginx
name: test-volume
- image: tomcat:8.5-jre8-alpine
name: test-tomcat
imagePullPolicy: IfNotPresent
volumeMounts:
- mountPath: /test-tomcat
name: test-volume
volumes:
- name: test-volume
hostPath:
path: /data1
type: DirectoryOrCreate # DirectoryOrCreate表示本地有/data1目錄，就用本地的，本地沒有就會在pod調度到的節點自動創建一個
# 更新資源清單文件
[root@k8s-master1 ~]# kubectl apply -f hostpath.yaml
pod/test-hostpath created
# 查看pod調度到了哪個物理節點
[root@k8s-master1 ~]# kubectl get pods -o wide | grep hostpath
test-hostpath 2/2 Running 0 29s 10.244.36.118 k8s-node1 <none> <none>
# 由上面可以知道pod調度到了k8s-node1上，登錄到k8s-node1機器，查看是否在這台機器創建了存儲目錄
[root@k8s-node1 ~]# ll /data1/
total 0
# 上面可以看到已經創建了存儲目錄/data1，這個/data1會作為pod的持久化存儲目錄
# 在k8s-node1上的/data1下創建一個目錄
[root@k8s-node1 ~]# cd /data1/
[root@k8s-node1 data1]# mkdir aa
# 測試存儲卷是否可以正常使用,登錄到nginx容器
[root@k8s-master1 ~]# kubectl exec -it test-hostpath -c test-nginx -- /bin/bash
root@test-hostpath:/# cd /test-nginx/
#/test-nginx/目錄存在，說明已經把宿主機目錄掛載到了容器里
root@test-hostpath:/test-nginx# ls
aa
#測試存儲卷是否可以正常使用,登錄到tomcat容器
[root@k8s-master1 ~]# kubectl exec -it test-hostpath -c test-tomcat -- /bin/bash
root@test-hostpath:/usr/local/tomcat# cd /test-tomcat/
#/test-tomcat/目錄存在，說明已經把宿主機目錄掛載到了容器里
root@test-hostpath:/test-tomcat# ls
aa
#通過上面測試可以看到，同一個pod里的test-nginx和test-tomcat這兩個容器是共享存儲卷的。
hostPath存儲缺點：單節點，pod刪除之后重新創建必須調度到同一個node節點，數據才不會丟失
解決方法：定義nodeName，將pod調度到指定節點
2.3、nfs
hostPath存儲，存在單點故障，pod掛載hostPath時，只有調度到同一個節點，數據才不會丟失。那可以使用nfs作為持久化存儲
1）安裝nfs
# 搭建nfs服務,以k8s的控制節點作為NFS服務端
[root@k8s-master1 ~]# yum install nfs-utils -y
# 在宿主機創建NFS需要的共享目錄
[root@k8s-master1 ~]# mkdir /data/volumes -p
# 配置nfs共享服務器上的/data/volumes目錄
[root@k8s-master1 ~]# systemctl start nfs
[root@k8s-master1 ~]# vim /etc/exports
/data/volumes 192.168.40.0/24(rw,no_root_squash) # no_root_squash: 用戶具有根目錄的完全管理訪問權限
# 使NFS配置生效
[root@k8s-master1 ~]# exportfs -arv
exporting 192.168.40.0/24:/data/volumes
[root@k8s-master1 ~]# systemctl restart nfs
# 設置成開機自啟動
[root@k8s-master1 ~]# systemctl enable nfs && systemctl status nfs
# k8s-node2和k8s-node1上也安裝nfs驅動
[root@k8s-node1 ~]# yum install nfs-utils -y && systemctl enable nfs
[root@k8s-node2 ~]# yum install nfs-utils -y && systemctl enable nfs
# 在k8s-node1上手動掛載試試：
[root@k8s-node1 ~]# mkdir /test
[root@k8s-node1 ~]# mount 192.168.40.180:/data/volumes /test/
[root@k8s-node1 ~]# df -h
192.168.40.180:/data/volumes 50G 5.2G 45G 11% /test
# 手動卸載：
[root@k8s-node1 ~]# umount /test
2）創建Pod，掛載NFS共享出來的目錄
[root@k8s-master1 ~]# cat nfs.yaml
apiVersion: v1
kind: Pod
metadata:
name: test-nfs-volume
spec:
containers:
- name: test-nfs
image: nginx
imagePullPolicy: IfNotPresent
ports:
- containerPort: 80
protocol: TCP
volumeMounts:
- name: nfs-volumes
mountPath: /usr/share/nginx/html
volumes:
- name: nfs-volumes
nfs:
path: /data/volumes # nfs的共享目錄
server: 192.168.40.180 # 安裝nfs服務的地址
# 更新資源清單文件
[root@k8s-master1 ~]# kubectl apply -f nfs.yaml
# 查看pod是否創建成功
[root@k8s-master1 ~]# kubectl get pods -o wide | grep nfs
test-nfs-volume 1/1 Running 0 17s 10.244.36.119 k8s-node1 <none> <none>
# 登錄到nfs服務器，在共享目錄創建一個index.html
[root@k8s-master1 volumes]# pwd
/data/volumes
[root@k8s-master1 volumes]# cat index.html
Hello, NFS Volume
# 請求pod，看結果
[root@k8s-master1 volumes]# curl 10.244.36.119
Hello, NFS Volume
# 登錄到pod驗證下
[root@k8s-master1 volumes]# kubectl exec -it test-nfs-volume -- /bin/bash
root@test-nfs-volume:/# cat /usr/share/nginx/html/index.html
Hello, NFS Volume
# nfs支持多個客戶端掛載，可以創建多個pod，掛載同一個nfs服務器共享出來的目錄；但是nfs如果宕機了，數據也就丟失了，所以需要使用分布式存儲，常見的分布式存儲有glusterfs和cephfs
2.4、PV&PVC
2.4.1、相關概念
官網：https://kubernetes.io/docs/concepts/storage/persistent-volumes/#access-modes
1）PV是什么？
PersistentVolume（PV）是群集中的一塊存儲，由管理員配置或使用存儲類動態配置。 它是集群中的資源，就像pod是k8s集群資源一樣。 PV是容量插件，如Volumes，其生命周期獨立於使用PV的任何單個pod。
2）PVC是什么？
PersistentVolumeClaim（PVC）是一個持久化存儲卷，我們在創建pod時可以定義這個類型的存儲卷。 它類似於一個pod。 Pod消耗節點資源，PVC消耗PV資源。 Pod可以請求特定級別的資源（CPU和內存）。 pvc在申請pv的時候也可以請求特定的大小和訪問模式（例如，可以一次讀寫或多次只讀）。****
2.4.2、PVC和PV工作原理
PV是群集中的資源。 PVC是對這些資源的請求。 PV和PVC之間的相互作用遵循以下生命周期：
1）pv的供應方式
可以通過兩種方式配置PV：靜態或動態。
- 靜態：集群管理員創建了許多PV。它們包含可供群集用戶使用的實際存儲的詳細信息。它們存在於Kubernetes API中，可供使用。
- 動態：當管理員創建的靜態PV都不匹配用戶的PersistentVolumeClaim時，群集可能會嘗試為PVC專門動態配置卷。此配置基於
StorageClasses，PVC必須請求存儲類，管理員必須創建並配置該類，以便進行動態配置。
2）綁定
用戶創建pvc並指定需要的資源和訪問模式。在找到可用pv之前，pvc會保持未綁定狀態
3）使用
a）需要找一個存儲服務器，把它划分成多個存儲空間；
b）k8s管理員可以把這些存儲空間定義成多個pv；
c）在pod中使用pvc類型的存儲卷之前需要先創建pvc，通過定義需要使用的pv的大小和對應的訪問模式，找到合適的pv；
d）pvc被創建之后，就可以當成存儲卷來使用了，我們在定義pod時就可以使用這個pvc的存儲卷
e）pvc和pv它們是一一對應的關系，pv如果被pvc綁定了，就不能被其他pvc使用了；
f）我們在創建pvc的時候，應該確保和底下的pv能綁定，如果沒有合適的pv，那么pvc就會處於pending狀態。
4）回收策略
當我們創建pod時如果使用pvc做為存儲卷，那么它會和pv綁定，當刪除pod，pvc和pv綁定就會解除，解除之后和pvc綁定的pv卷里的數據需要怎么處理，目前，卷可以保留，回收或刪除：
Retain：當刪除pvc的時候，pv仍然存在，處於released狀態，但是它不能被其他pvc綁定使用，里面的數據還是存在的，當我們下次再使用的時候，數據還是存在的，這個是默認的回收策略Recycle：（不推薦使用，1.15可能被廢棄了）Delete：刪除pvc時即會從Kubernetes中移除PV，也會從相關的外部設施中刪除存儲資產
2.4.3、pod使用pvc作為持久化存儲卷
1）創建nfs共享目錄
# 在宿主機創建NFS需要的共享目錄
[root@k8s-master1 ~]# mkdir /data/volume_test/v{1,2,3,4,5,6,7,8,9,10} -p
# 配置nfs共享宿主機上的/data/volume_test/v1..v10目錄
[root@k8s-master1 ~]# cat /etc/exports
/data/volumes 192.168.40.0/24(rw,no_root_squash)
/data/volume_test/v1 192.168.40.0/24(rw,no_root_squash)
/data/volume_test/v2 192.168.40.0/24(rw,no_root_squash)
/data/volume_test/v3 192.168.40.0/24(rw,no_root_squash)
/data/volume_test/v4 192.168.40.0/24(rw,no_root_squash)
/data/volume_test/v5 192.168.40.0/24(rw,no_root_squash)
/data/volume_test/v6 192.168.40.0/24(rw,no_root_squash)
/data/volume_test/v7 192.168.40.0/24(rw,no_root_squash)
/data/volume_test/v8 192.168.40.0/24(rw,no_root_squash)
/data/volume_test/v9 192.168.40.0/24(rw,no_root_squash)
/data/volume_test/v10 192.168.40.0/24(rw,no_root_squash)
# 重新加載配置，使配置成效
[root@k8s-master1 ~]# exportfs -arv
2）創建pv
[root@k8s-master1 ~]# cat pv.yaml
apiVersion: v1
kind: PersistentVolume
metadata:
name: v1
spec:
capacity:
storage: 1Gi #pv的存儲空間容量
accessModes: ["ReadWriteOnce"]
nfs:
path: /data/volume_test/v1 #nfs的存儲空間創建成pv
server: 192.168.40.180 #nfs服務器的地址
---
apiVersion: v1
kind: PersistentVolume
metadata:
name: v2
spec:
capacity:
storage: 2Gi
accessModes: ["ReadWriteMany"]
nfs:
path: /data/volume_test/v2
server: 192.168.40.180
---
apiVersion: v1
kind: PersistentVolume
metadata:
name: v3
spec:
capacity:
storage: 3Gi
accessModes: ["ReadOnlyMany"]
nfs:
path: /data/volume_test/v3
server: 192.168.40.180
---
apiVersion: v1
kind: PersistentVolume
metadata:
name: v4
spec:
capacity:
storage: 4Gi
accessModes: ["ReadWriteOnce","ReadWriteMany"]
nfs:
path: /data/volume_test/v4
server: 192.168.40.180
---
apiVersion: v1
kind: PersistentVolume
metadata:
name: v5
spec:
capacity:
storage: 5Gi
accessModes: ["ReadWriteOnce","ReadWriteMany"]
nfs:
path: /data/volume_test/v5
server: 192.168.40.180
---
apiVersion: v1
kind: PersistentVolume
metadata:
name: v6
spec:
capacity:
storage: 6Gi
accessModes: ["ReadWriteOnce","ReadWriteMany"]
nfs:
path: /data/volume_test/v6
server: 192.168.40.180
---
apiVersion: v1
kind: PersistentVolume
metadata:
name: v7
spec:
capacity:
storage: 7Gi
accessModes: ["ReadWriteOnce","ReadWriteMany"]
nfs:
path: /data/volume_test/v7
server: 192.168.40.180
---
apiVersion: v1
kind: PersistentVolume
metadata:
name: v8
spec:
capacity:
storage: 8Gi
accessModes: ["ReadWriteOnce","ReadWriteMany"]
nfs:
path: /data/volume_test/v8
server: 192.168.40.180
---
apiVersion: v1
kind: PersistentVolume
metadata:
name: v9
spec:
capacity:
storage: 9Gi
accessModes: ["ReadWriteOnce","ReadWriteMany"]
nfs:
path: /data/volume_test/v9
server: 192.168.40.180
---
apiVersion: v1
kind: PersistentVolume
metadata:
name: v10
spec:
capacity:
storage: 10Gi
accessModes: ["ReadWriteOnce","ReadWriteMany"]
nfs:
path: /data/volume_test/v10
server: 192.168.40.180
# 更新資源清單文件
[root@k8s-master1 ~]# kubectl apply -f pv.yaml
persistentvolume/v1 created
persistentvolume/v2 created
persistentvolume/v3 created
persistentvolume/v4 created
persistentvolume/v5 created
persistentvolume/v6 created
persistentvolume/v7 created
persistentvolume/v8 created
persistentvolume/v9 created
persistentvolume/v10 created
# 查看pv資源
[root@k8s-master1 ~]# kubectl get pv
NAME CAPACITY ACCESS MODES RECLAIM POLICY STATUS CLAIM STORAGECLASS REASON AGE
v1 1Gi RWO Retain Available 11s
v10 10Gi RWO,RWX Retain Available 11s
v2 2Gi RWX Retain Available 11s
v3 3Gi ROX Retain Available 11s
v4 4Gi RWO,RWX Retain Available 11s
v5 5Gi RWO,RWX Retain Available 11s
v6 6Gi RWO,RWX Retain Available 11s
v7 7Gi RWO,RWX Retain Available 11s
v8 8Gi RWO,RWX Retain Available 11s
v9 9Gi RWO,RWX Retain Available 11s
# STATUS是Available，表示pv是可用的
3）創建pvc，和符合條件的pv綁定
[root@k8s-master1 ~]# cat pvc.yaml
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: my-pvc
spec:
accessModes: ["ReadWriteMany"]
resources:
requests:
storage: 2Gi
# 更新資源清單文件
[root@k8s-master1 ~]# kubectl apply -f pvc.yaml
persistentvolumeclaim/my-pvc created
# 查看pv和pvc
[root@k8s-master1 ~]# kubectl get pv
NAME CAPACITY ACCESS MODES RECLAIM POLICY STATUS CLAIM STORAGECLASS REASON AGE
v1 1Gi RWO Retain Available 4m35s
v10 10Gi RWO,RWX Retain Available 4m35s
v2 2Gi RWX Retain Bound default/my-pvc 4m35s
v3 3Gi ROX Retain Available 4m35s
v4 4Gi RWO,RWX Retain Available 4m35s
v5 5Gi RWO,RWX Retain Available 4m35s
v6 6Gi RWO,RWX Retain Available 4m35s
v7 7Gi RWO,RWX Retain Available 4m35s
v8 8Gi RWO,RWX Retain Available 4m35s
v9 9Gi RWO,RWX Retain Available 4m35s
# STATUS是Bound，表示這個pv已經被my-pvc綁定了
[root@k8s-master1 ~]# kubectl get pvc
NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE
my-pvc Bound v2 2Gi RWX 31s
4）創建pod，掛載pvc
[root@k8s-master1 ~]# cat pod_pvc.yaml
apiVersion: v1
kind: Pod
metadata:
name: pod-pvc
spec:
containers:
- name: nginx
image: nginx
imagePullPolicy: IfNotPresent
volumeMounts:
- name: nginx-html
mountPath: /usr/share/nginx/html
volumes:
- name: nginx-html
persistentVolumeClaim:
claimName: my-pvc
# 更新資源清單文件
[root@k8s-master1 ~]# kubectl apply -f pod_pvc.yaml
pod/pod-pvc created
# 查看pod狀態
[root@k8s-master1 ~]# kubectl get pods -o wide| grep pod-pvc
pod-pvc 1/1 Running 0 45s 10.244.169.151 k8s-node2 <none> <none>
#通過上面可以看到pod處於running狀態，正常運行
2.4.4、使用pvc和pv的注意事項
1）我們每次創建pvc的時候，需要事先有划分好的pv，這樣可能不方便，那么可以在創建pvc的時候直接動態創建一個pv這個存儲類，pv事先是不存在的
2）pvc和pv綁定，如果使用默認的回收策略retain，那么刪除pvc之后，pv會處於released狀態，我們想要繼續使用這個pv，需要手動刪除pv，kubectl delete pv pv_name，刪除pv，不會刪除pv里的數據，當我們重新創建pvc時還會和這個最匹配的pv綁定，數據還是原來數據，不會丟失。
2.5、k8s存儲類：storageclass
上面介紹的PV和PVC模式都是需要先創建好PV，然后定義好PVC和pv進行一對一的Bond，但是如果PVC請求成千上萬，那么就需要創建成千上萬的PV，對於運維人員來說維護成本很高，Kubernetes提供一種自動創建PV的機制，叫StorageClass，它的作用就是創建PV的模板。k8s集群管理員通過創建storageclass可以動態生成一個存儲卷pv供k8s pvc使用。
每個StorageClass都包含字段provisioner，parameters和reclaimPolicy。
具體來說，StorageClass會定義以下兩部分：
- 1、PV的屬性 ，比如存儲的大小、類型等；
- 2、創建這種PV需要使用到的存儲插件，比如Ceph、NFS等
Kubernetes就能夠根據用戶提交的PVC，找到對應的StorageClass，然后Kubernetes就會調用 StorageClass聲明的存儲插件，創建出需要的PV。
provisioner：供應商，storageclass需要有一個供應者，用來確定我們使用什么樣的存儲來創建pv
常見的provisioner：https://kubernetes.io/zh/docs/concepts/storage/storage-classes/
provisioner既可以由內部供應商提供，也可以由外部供應商提供：https://github.com/kubernetes-incubator/external-storage/
以NFS為例，要想使用NFS，我們需要一個nfs-client的自動裝載程序，稱之為provisioner，這個程序會使用我們已經配置好的NFS服務器自動創建持久卷，也就是自動幫我們創建PV。
reclaimPolicy：回收策略
allowVolumeExpansion：允許卷擴展，PersistentVolume 可以配置成可擴展。將此功能設置為true時，允許用戶通過編輯相應的 PVC 對象來調整卷大小。當基礎存儲類的allowVolumeExpansion字段設置為 true 時，以下類型的卷支持卷擴展。注意：此功能僅用於擴容卷，不能用於縮小卷。
2.5.1、安裝nfs provisioner，用於配合存儲類動態生成pv
# 1、創建運行nfs-provisioner需要的sa賬號
[root@k8s-master1 nfs]# cat serviceaccount.yaml
apiVersion: v1
kind: ServiceAccount
metadata:
name: nfs-provisioner
[root@k8s-master1 nfs]# kubectl apply -f serviceaccount.yaml
serviceaccount/nfs-provisioner created
# 2、對sa授權
[root@k8s-master1 nfs]# kubectl create clusterrolebinding nfs-provisioner-clusterrolebinding --clusterrole=cluster-admin --serviceaccount=default:nfs-provisioner
# 3、安裝nfs-provisioner程序
[root@k8s-master1 nfs]# mkdir /data/nfs_pro -p
#把/data/nfs_pro變成nfs共享的目錄
[root@k8s-master1 nfs]# cat /etc/exports
/data/volumes 192.168.40.0/24(rw,no_root_squash)
/data/volume_test/v1 192.168.40.0/24(rw,no_root_squash)
/data/volume_test/v2 192.168.40.0/24(rw,no_root_squash)
/data/volume_test/v3 192.168.40.0/24(rw,no_root_squash)
/data/volume_test/v4 192.168.40.0/24(rw,no_root_squash)
/data/volume_test/v5 192.168.40.0/24(rw,no_root_squash)
/data/volume_test/v6 192.168.40.0/24(rw,no_root_squash)
/data/volume_test/v7 192.168.40.0/24(rw,no_root_squash)
/data/volume_test/v8 192.168.40.0/24(rw,no_root_squash)
/data/volume_test/v9 192.168.40.0/24(rw,no_root_squash)
/data/volume_test/v10 192.168.40.0/24(rw,no_root_squash)
/data/nfs_pro 192.168.40.0/24(rw,no_root_squash)
[root@k8s-master1 nfs]# exportfs -arv
exporting 192.168.40.0/24:/data/nfs_pro
exporting 192.168.40.0/24:/data/volume_test/v10
exporting 192.168.40.0/24:/data/volume_test/v9
exporting 192.168.40.0/24:/data/volume_test/v8
exporting 192.168.40.0/24:/data/volume_test/v7
exporting 192.168.40.0/24:/data/volume_test/v6
exporting 192.168.40.0/24:/data/volume_test/v5
exporting 192.168.40.0/24:/data/volume_test/v4
exporting 192.168.40.0/24:/data/volume_test/v3
exporting 192.168.40.0/24:/data/volume_test/v2
exporting 192.168.40.0/24:/data/volume_test/v1
exporting 192.168.40.0/24:/data/volumes
[root@k8s-master1 nfs]# cat nfs-deployment.yaml
kind: Deployment
apiVersion: apps/v1
metadata:
name: nfs-provisioner
spec:
selector:
matchLabels:
app: nfs-provisioner
replicas: 1
strategy:
type: Recreate
template:
metadata:
labels:
app: nfs-provisioner
spec:
serviceAccount: nfs-provisioner
containers:
- name: nfs-provisioner
image: registry.cn-beijing.aliyuncs.com/mydlq/nfs-subdir-external-provisioner:v4.0.0
imagePullPolicy: IfNotPresent
volumeMounts:
- name: nfs-client-root
mountPath: /persistentvolumes
env:
- name: PROVISIONER_NAME
value: example.com/nfs
- name: NFS_SERVER
value: 192.168.40.180
- name: NFS_PATH
value: /data/nfs_pro
volumes:
- name: nfs-client-root
nfs:
server: 192.168.40.180
path: /data/nfs_pro
# 更新資源清單文件
[root@k8s-master1 nfs]# kubectl apply -f nfs-deployment.yaml
deployment.apps/nfs-provisioner created
# 查看nfs-provisioner是否正常運行
[root@k8s-master1 nfs]# kubectl get pods | grep nfs
nfs-provisioner-5448d86c75-j4xr9 1/1 Running 0 11s
2.5.2、創建storageclass，動態供給pv
[root@k8s-master1 nfs]# cat nfs-storageclass.yaml
kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
name: nfs
provisioner: example.com/nfs # 跟安裝nfs provisioner時候的env下的PROVISIONER_NAME的value值保持一致
[root@k8s-master1 nfs]# kubectl apply -f nfs-storageclass.yaml
#查看storageclass是否創建成功
[root@k8s-master1 nfs]# kubectl get storageclass
NAME PROVISIONER RECLAIMPOLICY VOLUMEBINDINGMODE ALLOWVOLUMEEXPANSION AGE
nfs example.com/nfs Delete Immediate false 13s
2.5.3、創建pvc，通過storageclass動態生成pv
[root@k8s-master1 nfs]# cat claim.yaml
kind: PersistentVolumeClaim
apiVersion: v1
metadata:
name: test-claim1
spec:
accessModes: ["ReadWriteMany"]
resources:
requests:
storage: 1Gi
storageClassName: nfs
[root@k8s-master1 nfs]# kubectl apply -f claim.yaml
persistentvolumeclaim/test-claim1 created
# 查看是否動態生成了pv，pvc是否創建成功，並和pv綁定
[root@k8s-master1 nfs]# kubectl get pvc
NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE
test-claim1 Bound pvc-bfad2595-f3e8-4f41-a1d7-4b760655c6f4 1Gi RWX nfs 17s
步驟總結：
1、供應商：創建一個nfs provisioner
2、創建storageclass，storageclass指定剛才創建的供應商
3、創建pvc，這個pvc指定storageclass
2.5.4、創建pod，掛載storageclass動態生成的pvc
[root@k8s-master1 nfs]# cat read-pod.yaml
kind: Pod
apiVersion: v1
metadata:
name: read-pod
spec:
containers:
- name: read-pod
image: nginx
imagePullPolicy: IfNotPresent
volumeMounts:
- name: nfs-pvc
mountPath: /usr/share/nginx/html
restartPolicy: "Never"
volumes:
- name: nfs-pvc
persistentVolumeClaim:
claimName: test-claim1
# 更新資源清單文件
[root@k8s-master1 nfs]# kubectl apply -f read-pod.yaml
pod/read-pod created
# 查看pod是否創建成功
[root@k8s-master1 nfs]# kubectl get pods -o wide| grep read
read-pod 1/1 Running 0 16s 10.244.36.121 k8s-node1 <none> <none>
# 持久化目錄
[root@k8s-master1 nfs]# ll /data/nfs_pro/
total 0
drwxrwxrwx 2 root root 6 Jul 10 22:30 default-test-claim1-pvc-bfad2595-f3e8-4f41-a1d7-4b760655c6f4