k8s實用整理(18)-k8s存儲之NFS

轉自”K8S中文社區“

1 NFS介紹

NFS是Network File System的簡寫，即網絡文件系統，NFS是FreeBSD支持的文件系統中的一種。NFS基於RPC(Remote Procedure Call)遠程過程調用實現，其允許一個系統在網絡上與它人共享目錄和文件。通過使用NFS，用戶和程序就可以像訪問本地文件一樣訪問遠端系統上的文件。NFS是一個非常穩定的，可移植的網絡文件系統。具備可擴展和高性能等特性，達到了企業級應用質量標准。由於網絡速度的增加和延遲的降低，NFS系統一直是通過網絡提供文件系統服務的有競爭力的選擇 。

 

1.1 NFS原理

NFS 使用RPC(Remote Procedure Call)的機制進行實現，RPC使得客戶端可以調用服務端的函數。同時，由於有 VFS 的存在，客戶端可以像使用其它普通文件系統一樣使用 NFS 文件系統。經由操作系統的內核，將 NFS 文件系統的調用請求通過 TCP/IP 發送至服務端的 NFS 服務。NFS服務器執行相關的操作，並將操作結果返回給客戶端。

 

 

NFS服務主要進程包括：

• rpc.nfsd：最主要的NFS進程，管理客戶端是否可登錄

• rpc.mountd：掛載和卸載NFS文件系統，包括權限管理

• rpc.lockd：非必要，管理文件鎖，避免同時寫出錯

• rpc.statd：非必要，檢查文件一致性，可修復文件

 

NFS的關鍵工具包括：

• 主要配置文件：/etc/exports；

• NFS文件系統維護命令：/usr/bin/exportfs；

• 共享資源的日志文件： /var/lib/nfs/*tab；

• 客戶端查詢共享資源命令： /usr/sbin/showmount；

• 端口配置： /etc/sysconfig/nfs。

 

1.2 共享配置

在NFS服務器端的主要配置文件為/etc/exports時，通過此配置文件可以設置共享文件目錄。每條配置記錄由NFS共享目錄、NFS客戶端地址和參數這3部分組成，格式如下：

[NFS共享目錄] [NFS客戶端地址1(參數1,參數2,參數3……)] [客戶端地址2(參數1,參數2,參數3……)]

 

• NFS共享目錄：服務器上共享出去的文件目錄；

• NFS客戶端地址：允許其訪問的NFS服務器的客戶端地址，可以是客戶端IP地址，也可以是一個網段(192.168.64.0/24)；

• 訪問參數：括號中逗號分隔項，主要是一些權限選項。

 

1）訪問權限參數

 

2）用戶映射參數 圖表

3）其它配置參數 圖表 

 

 

2 NFS服務端配置

在nfs作為網絡文件存儲系統前，首先，需要安裝nfs和rpcbind服務；接着，需要創建使用共享目錄的用戶；然后，需要對共享目錄進行配置，這是其中相對重要和復雜的一個步驟；最后，需要啟動rpcbind和nfs服務，以供應用使用。

 

2.1 安裝nfs服務

1）通過yum目錄安裝nfs服務和rpcbind服務：

rpcinfo -p localhost

　　

2）檢查nfs服務是否正常安裝 

rpcinfo -p localhost

2.2 創建用戶

為NFS服務其添加用戶，並創建共享目錄，以及設置用戶設置共享目錄的訪問權限：

 

useradd -u nfs
mkdir -p /nfs-share 
chmod a+w /nfs-share

 

2.3 配置共享目錄

在nfs服務器中為客戶端配置共享目錄：

 

echo "/nfs-share 172.16.0.0(rw,async,no_root_squash)" >> /etc/exports

 

通過執行如下命令是配置生效：

 

exportfs -r

 

2.4 啟動服務

1）由於必須先啟動rpcbind服務，再啟動nfs服務，這樣才能讓nfs服務在rpcbind服務上注冊成功： 

systemctl start rpcbind

　　

 2）啟動nfs服務： 

systemctl start nfs-server

 

3）設置rpcbind和nfs-server開機啟動： 

systemctl enable rpcbind
systemctl enable nfs-server

 

2.5 檢查nfs服務是否正常啟動

showmount -e localhost
mount -t nfs 127.0.0.1:/data /mnt

3 NFS作為Volume

nfs可以直接作為存儲卷使用，下面是一個redis部署的YAML配置文件。在此示例中，redis在容器中的持久化數據保存在/data目錄下；存儲卷使用nfs，nfs的服務地址為：192.168.8.150，存儲路徑為：/k8s-nfs/redis/data。容器通過volumeMounts.name的值確定所使用的存儲卷。

 

apiVersion: apps/v1 # for versions before 1.9.0 use apps/v1beta2
kind: Deployment
metadata:
  name: redis
spec:
  selector:
    matchLabels:
      app: redis
  revisionHistoryLimit: 2
  template:
    metadata:
      labels:
        app: redis
    spec:
      containers:
      
# 應用的鏡像
      - image: redis
        name: redis
        imagePullPolicy: IfNotPresent
        
# 應用的內部端口
        ports:
        - containerPort: 6379
          name: redis6379
        env:
        - name: ALLOW_EMPTY_PASSWORD
          value: "yes"
        - name: REDIS_PASSWORD
          value: "redis"          
# 持久化掛接位置，在docker中 
        volumeMounts:
        - name: redis-persistent-storage
          mountPath: /data
      volumes:      
# 宿主機上的目錄
      - name: redis-persistent-storage
        nfs:
          path: /k8s-nfs/redis/data
          server: 192.168.8.150

 

 

4 NFS作為PersistentVolum

在Kubernetes當前版本的中，可以創建類型為nfs的持久化存儲卷，用於為PersistentVolumClaim提供存儲卷。在下面的PersistenVolume YAML配置文件中，定義了一個名為nfs-pv的持久化存儲卷，此存儲卷提供了5G的存儲空間，只能由一個PersistentVolumClaim進行可讀可寫操作。此持久化存儲卷使用的nfs服務器地址為192.168.5.150，存儲的路徑為/tmp。

apiVersion: v1
kind: PersistentVolume
metadata:
  name: nfs-pv
spec:
  capacity:
    storage: 5Gi
  volumeMode: Filesystem
  accessModes:
  - ReadWriteOnce
  persistentVolumeReclaimPolicy: Recycle
  storageClassName: slow
  mountOptions:
  - hard
  - nfsvers=4.1
  # 此持久化存儲卷使用nfs插件
  nfs:
    # nfs共享目錄為/tmp
    path: /tmp
    # nfs服務器的地址
    server: 192.168.5.150

 

通過執行如下的命令可以創建上述持久化存儲卷： 

kubectl create -f {path}/nfs-pv.yaml

 

存儲卷創建成功后將處於可用狀態，等待PersistentVolumClaim使用。PersistentVolumClaim會通過訪問模式和存儲空間自動選擇合適存儲卷，並與其進行綁定。

 

5 NFS作為動態存儲提供

5.1 部署nfs-provisioner

為nfs-provisioner實例選擇存儲狀態和數據的存儲卷，並將存儲卷掛接到容器的/export 命令。

 

...
 volumeMounts:
    - name: export-volume
      mountPath: /export
volumes:
  - name: export-volume
    hostPath:
      path: /tmp/nfs-provisioner
...

 

為StorageClass選擇一個供應者名稱，並在deploy/kubernetes/deployment.yaml進行設置。

 

args:
  - "-provisioner=example.com/nfs"
...

 

 

完整的deployment.yaml文件內容如下：

 

kind: Service
apiVersion: v1
metadata:
  name: nfs-provisioner
  labels:
    app: nfs-provisioner
spec:
  ports:
    - name: nfs
      port: 2049
    - name: mountd
      port: 20048
    - name: rpcbind
      port: 111
    - name: rpcbind-udp
      port: 111
      protocol: UDP
  selector:
    app: nfs-provisioner
---
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: nfs-provisioner
spec:
  replicas: 1
  strategy:
    type: Recreate
  template:
    metadata:
      labels:
        app: nfs-provisioner
    spec:
      containers:
        - name: nfs-provisioner
          image: quay.io/kubernetes_incubator/nfs-provisioner:v1.0.8
          ports:
            - name: nfs
              containerPort: 2049
            - name: mountd
              containerPort: 20048
            - name: rpcbind
              containerPort: 111
            - name: rpcbind-udp
              containerPort: 111
              protocol: UDP
          securityContext:
            capabilities:
              add:
                - DAC_READ_SEARCH
                - SYS_RESOURCE
          args:
            # 定義提供者的名稱，存儲類通過此名稱指定提供者
            - "-provisioner=nfs-provisioner"
          env:
            - name: POD_IP
              valueFrom:
                fieldRef:
                  fieldPath: status.podIP
            - name: SERVICE_NAME
              value: nfs-provisioner
            - name: POD_NAMESPACE
              valueFrom:
                fieldRef:
                  fieldPath: metadata.namespace
          imagePullPolicy: "IfNotPresent"
          volumeMounts:
            - name: export-volume
              mountPath: /export
      volumes:
        - name: export-volume
          hostPath:
            path: /srv

 

 

在設置好deploy/kubernetes/deployment.yaml文件后，通過kubectl create命令在Kubernetes集群中部署nfs-provisioner。 

kubectl create -f {path}/deployment.yaml

 

5.2 創建StorageClass

下面是example-nfs的StorageClass配置文件，此配置文件定義了一個名稱為nfs-storageclass的存儲類，此存儲類的提供者為nfs-provisioner。

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: nfs-storageclass
  provisioner: nfs-provisioner

 

通過kubectl create -f命令使用上面的配置文件創建：

# kubectl create -f deploy/kubernetes/class.yaml
storageclass “example-nfs” created

在存儲類被正確創建后，就可以創建PersistenetVolumeClaim來請求StorageClass，而StorageClass將會為PersistenetVolumeClaim自動創建一個可用PersistentVolume。

 

5.3 創建PersistenetVolumeClaim

PersistenetVolumeClaim是對PersistenetVolume的聲明，即PersistenetVolume為存儲的提供者，而PersistenetVolumeClaim為存儲的消費者。下面是PersistentVolumeClaim的YAML配置文件，此配置文件通過metadata.annotations[].volume.beta.kubernetes.io/storage-class字段指定所使用的存儲儲類。

 

在此配置文件中，使用nfs-storageclass存儲類為PersistenetVolumeClaim創建PersistenetVolume，所要求的PersistenetVolume存儲空間大小為1Mi，可以被多個容器進行讀取和寫入操作。

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: nfs-pvc
  annotations:
    volume.beta.kubernetes.io/storage-class: "nfs-storageclass"
spec:
  accessModes:
  - ReadWriteMany
  resources:
    requests:
      storage: 1Mi

 

通過kubectl create命令創建上述的持久化存儲卷聲明： 

kubectl create -f {path}/claim.yaml

　　 

5.4 創建使用PersistenVolumeClaim的部署

在這里定義名為busybox-deployment的部署YAML配置文件，使用的鏡像為busybox。基於busybox鏡像的容器需要對/mnt目錄下的數據進行持久化，在YAML文件指定使用名稱為nfs的PersistenVolumeClaim對容器的數據進行持久化。

 

# This mounts the nfs volume claim into /mnt and continuously
# overwrites /mnt/index.html with the time and hostname of the pod.
apiVersion: v1
kind: Deployment
metadata:  
  name: busybox-deployment
spec:  
  replicas: 2  
  selector:    
    name: busybox-deployment
  template:    
    metadata:      
      labels:        
        name: busybox-deployment    
    spec:      
      containers:      
      - image: busybox        
        command:          
        - sh          
        - -c          
        - 'while true; do date > /mnt/index.html; hostname >> /mnt/index.html; sleep $(($RANDOM % 5 + 5)); done'        
        imagePullPolicy: IfNotPresent        
        name: busybox        
        volumeMounts:          
        # name must match the volume name below          
        - name: nfs            
          mountPath: "/mnt"    
      #
      volumes:      
      - name: nfs        
        persistentVolumeClaim:          
         claimName: nfs-pvc 

 

 

通過kubectl create創建busy-deployment部署：

 

kubectl create -f {path}/nfs-busybox-deployment.yaml

 

參考

《Persistent Volumes》

https://kubernetes.io/docs/concepts/storage/persistent-volumes/ 

《Storage Classes》

https://kubernetes.io/docs/concepts/storage/storage-classes/ 

《Dynamic Volume Provisioning》

https://kubernetes.io/docs/concepts/storage/dynamic-provisioning/ 

《Volums》

https://kubernetes.io/docs/concepts/storage/volumes/ 

《nfs》

https://github.com/kubernetes-incubator/external-storage/tree/master/nfs

作者簡介： 

季向遠，北京神舟航天軟件技術有限公司產品經理。本文版權歸原作者所有。

社區其他相關文章：Kubernetes-基於StorageClass的動態存儲供應