Kubernetes 存儲概念之Volumes介紹

Volumes

默認情況下容器中的磁盤文件是非持久化的，對於運行在容器中的應用來說面臨兩個問題，第一：當容器掛掉，K8S重啟它時，文件將會丟失；第二：當Pod中同時運行多個容器，容器之間需要共享文件時。Kubernetes的Volume解決了這兩個問題

背景

在Docker中也有一個Volume(卷)的概念 ，盡管它有點松散，管理也不太好。Docker的卷只是磁盤、其它容器中的一個目錄，功能也比較有限。

Kubernetes支持多種類型的卷。pod可以同時使用任意數量、類型的卷。短暫卷(ephemeral volume)具有與pod相同的生命周期，但持久卷(persistent volume)生命周期存在於pod的生存期之外。當某個Pod不復存在時，K8S將銷毀短暫卷，但不會銷毀持久卷。對於給定pod中的任何類型的卷，都會在容器重啟時保存數據

卷的核心是一個目錄，其中可能包含一些數據，pod中的容器可以訪問該目錄。該目錄的形成方式、支持它的介質以及它的內容由所使用的特定卷類型決定。

要使用卷，需要在.spec.volumes中指定要為pod提供的卷，並在.spec.containers[*].volumeMounts中聲明加載這些卷到容器的位置。容器中的進程會看到一個文件系統視圖，該視圖由容器鏡像的初始內容以及容器中裝入的卷（如果已定義的話）組成。該進程會看到一個root文件系統，它最初與容器鏡像的內容相匹配。如果允許，對該文件系統層次結構中的任何寫入都會影響該進程在執行后續文件系統訪問時查看的內容。在鏡像中的指定路徑上加載卷。對於pod中定義的每個容器，必須單獨指定容器使用的每個卷的加載位置

卷無法在其他卷內裝載，此外，卷不能包含指向其他卷中任何內容的硬鏈接。

Volume類型

K8S支持以下多種卷類型：

• awsElasticBlockStore
• azureDisk
• azureFile
• cephfs
• cinder
• configMap
• downwardAPI
• emptyDir
• fc (fibre channel)
• flocker (deprecated)
• gcePersistentDisk
• gitRepo (deprecated)
• glusterfs
• hostPath
• iscsi
• local
• nfs
• persistentVolumeClaim
• portworxVolume
• projected
• quobyte (deprecated)
• rbd
• secret
• storageOS (deprecated)
• vsphereVolume

以下，僅針對其中部分類型做簡單介紹

configMap

ConfigMap 提供了一種注入配置數據到Pod中的方法。存儲在ConfigMap中的數據可以被configMap卷引用，然后由運行在pod中的容器化應用程序使用

引用ConfigMap時，需要在卷中提供ConfigMap的名稱。你可以自定義用於ConfigMap中特定條目的路徑。

配置示例1：將log-config ConfigMap 裝載到名為 configmap-pod 的Pod上：

apiVersion: v1
kind: Pod
metadata:
  name: configmap-pod
spec:
  containers:
    - name: test
      image: busybox
      volumeMounts:
        - name: config-vol
          mountPath: /etc/config
  volumes:
    - name: config-vol
      configMap:
        name: log-config
        items:
          - key: log_level
            path: log/log_level.yaml

log-config ConfigMap 作為卷裝載，存儲在其log_level條目中的所有內容都掛載到Pod中的/etc/config/log/log_level.yaml路徑。注意，該路徑是從卷的mountPath和鍵值為log_level的path派生的

注意:

• 使用之前，必須創建ConfigMap，configMap.items中的key必須是已創建的ConfigMap的key名稱，必須是已存在的；path為相對路徑，相對於volumeMounts[n].mountPath而言，也就是說，mountPath/path即為ConfigMap文件在Pod中的絕對路徑；volumeMounts[n].name要和引用的卷的名稱(volumes[n].name)保持一致
• 將ConfigMap作為 subPath 卷使用的容器將不接收ConfigMap的更新。
• 文本數據使用UTF-8字符編碼作為文件公開。對於其他字符編碼，請使用 binary

配置示例2：

apiVersion: v1
kind: Pod
metadata:
  name: nginx-bypass
spec:
  containers:
    - name: nginx-bypass
      image: 'registry.cn-shenzhen.aliyuncs.com/casstime/nginx-bypass:latest'
      volumeMounts:
        - name: nginx-bypass-configs-vol
          mountPath: /usr/local/openresty/nginx/conf/config.yaml
          subPath: config.yaml
  volumes:
    - name: nginx-bypass-configs-vol
      configMap:
        name: nginx-bypass-configs
        defaultMode: 420

說明：

defaultMode: 420 為 ConfigMap 卷中的文件設置權限，這里配置為420，即文件所有者用戶具有可讀可寫權限，同組用戶具有只讀權限，其它用戶僅有只讀權限。

問題：上述的defaultMode為啥為644呢？

答案：這是因為，Linux的權限掩碼“644”是8進制數，而yaml中的數字為10進制數，420轉換為8進制數，剛好為“644”。

emptyDir

當 Pod 被分配給節點時，首先創建 emptyDir 卷，並且只要該 Pod 在該節點上運行，該卷就會存在。正如卷的名字而言，該卷最初是空的。Pod 中的所有容器可以讀取和寫入 emptyDir 卷中的相同文件，盡管該卷可以掛載到每個容器中相同或不同的路徑上。當出於任何原因從節點中刪除 Pod 時，emptyDir 中的數據將被永久刪除。

注意：容器崩潰不會從節點中移除 pod，因此 emptyDir 卷中的數據在容器崩潰時是安全的。

emptyDir 的一些用途有：

• 暫存空間，例如用於基於磁盤的合並排序
• 用作長時間計算崩潰恢復時的檢查點
• Web服務器容器提供數據時，保存內容管理器容器提取的文件

取決於你的環境， emptyDir卷存儲在支持結點的任何介質上，如磁盤或者SSD或者網絡存儲。然而，如果設置emptyDir.medium字段為Memory，那么k8s將掛載一個tmpfs（RAM支持的文件系統）。雖然tmpfs速度很快，但是請注意，不像磁盤，節點重啟時，tmpfs將被清空，並且寫入的任何文件都會根據容器的內存限制計數

注意: 如果啟用SizeMemoryBackedVolumes feature gate，則可以指定內存備份卷的大小。如果未指定大小，則內存備份卷的大小將調整為Linux主機內存的%50。

emptyDir配置示例：

apiVersion: v1
kind: Pod
metadata:
  name: test-pd
spec:
  containers:
  - image: k8s.gcr.io/test-webserver
    name: test-container
    volumeMounts:
    - mountPath: /cache
      name: cache-volume
  volumes:
  - name: cache-volume
    emptyDir: {}

hostPath

注意：

HostPath卷存在許多安全風險，在可能的情況下避免使用HostPath是最佳做法。當必須使用HostPath卷時，應將其范圍限定為所需的文件或目錄，並以只讀方式裝入。

如果通過許可策略限制Hostpath對特定目錄的訪問，則必須要求volumeMounts使用readOnly裝載才能使策略生效

hostPath 卷將主機節點的文件系統中的文件或目錄掛載到Pod中。該功能大多數 Pod 都用不到，但它為某些應用程序提供了一個強大的"escape hatch"。

例如，一些hostPath 的用途如下：

• 運行需要訪問 Docker 內部的容器；使用 hostPath： /var/lib/docker
• 在容器中運行 cAdvisor；使用 hostPath： /sys
• 允許 Pod 指定給定的 hostPath 是否應該在 pod 運行之前存在，是否應該創建，以及它應該以什么形式存在

除了所需的 path 屬性之外，用戶還可以為 hostPath 卷指定 type。

type 字段支持以下值：

值	行為
''	空字符串（默認）用於向后兼容，這意味着在掛載 hostPath 卷之前不會執行任何檢查。
DirectoryOrCreate	如果給定的path--要掛載的路徑，在對應pod所在的K8S集群結點機上不存在，那么將根據該path在對應結點機上自動創建對應的目錄，並且設置目錄權限為 0755，與 Kubelet 具有相同的用戶組和所有者權限
Directory	給定的path必須為對應pod所在結點機上已存在目錄路徑
FileOrCreate	如果給定的path在對應pod所在結點機上指向的文件不存在，那么會根據需要自動創建一個空文件，並設置文件權限為 0644，與 Kubelet 具有相同的用戶組和所有者權限
File	給定的path必須是對應pod所在結點機上指向已存在文件的文件路徑
Socket	給定的path必須指向已存在 UNIX socket
CharDevice	給定的path必須指向已存在的字符設備
BlockDevice	給定的path必須指向已存在的塊設備

使用這種卷類型時請注意，因為：

• hostPath會公開特權系統憑據（如用於Kubelet的憑證）或特權API（如容器運行時socket），這些憑據可用於攻擊集群的其他部分
• 由於節點上的文件不同，具有相同配置（例如從pod模板中創建的）的pod在不同節點上的行為可能不同
• 在底層主機上創建的文件或目錄只能由 root 寫入。需要在特權容器中以 root 身份運行進程，或修改主機上的文件權限以便寫入 hostPath 卷
• FileOrCreate 模式不會自動創建文件的父目錄。如果待掛載文件的父目錄不存在，pod將無法啟動。

配置示例1

apiVersion: v1
kind: Pod
metadata:
  name: test-pd
spec:
  containers:
  - image: k8s.gcr.io/test-webserver
    name: test-container
    volumeMounts:
    - mountPath: /test-pd
      name: test-volume
  volumes:
  - name: test-volume
    hostPath:
      # directory location on host
      path: /data
      # this field is optional
      type: Directory

配置示例2

apiVersion: v1
kind: Pod
metadata:
  name: test-pd
spec:
  containers:
  - image: k8s.gcr.io/test-webserver
    name: test-container
    volumeMounts:
    - mountPath: /test-pd
      name: test-volume
  volumes:
  - name: test-volume
    hostPath:
      path: /mydir/subdir/testdir     
      type: DirectoryOrCreate

說明：

1、Deployment發布之前，例中的路徑/mydir/subdir/testdir 在結點機上本是不存在的，但是因為type 設置為DirectoryOrCreate，發布之后查看對應pod所在結點機，發現該路徑對應的目錄已被創建，即路徑已存在，並且權限為rwxr-xr-x

2、實踐發現，volumeMounts[n].mountPath 如果不存在，則會被自動創建。

配置示例3：掛載節點機/etc/localtime到pod，解決容器時區和節點機時區不一致，導致時差8小時問題。

apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-bypass
  namespace: nginx-bypass
spec:
  containers:
  - image: 'registry.cn-shenzhen.aliyuncs.com/casstime/nginx-bypass:latest'
    imagePullPolicy: Always
    name: nginx-bypass
    volumeMounts:
    - mountPath: /etc/localtime
      name: localtime
      readOnly: true
    volumes:
    - hostPath:
      path: /etc/localtime
      type: ''
      name: localtime

注意：如果容器內運行的是Java程序，則需要掛載/etc/timezone到 pod，因為java獲取時間是從/etc/timezone文件獲取的，如果沒有則手動創建該文件：echo "Asia/shanghai" > /etc/timezone，當然，也可以不掛載文件，通過修改jvm時區參數：-Duser.timezone=GMT+08

nfs

nfs卷允許將現有 NFS（網絡文件系統）共享裝載到pod中。與移除Pod時會擦除的emptyDir不同，nfs卷的內容會被保留，而卷只是卸載。這意味着NFS卷可以預先填充數據，並且數據可以在pod之間共享。NFS可以由多個寫入程序同時加載。

注意：必須先讓自己的NFS服務器運行並導出共享，然后才能使用它。

有關更多詳細信息，請參閱有關NFS example的信息

persistentVolumeClaim

A persistentVolumeClaim 卷用於掛載 PersistentVolume 到Pod。PersistentVolumeClaims是用戶在不了解特定雲環境細節的情況下“聲明”持久存儲（如GCE PersistentDisk或iSCSI卷）的一種方式。

有關更多詳細信息，請參閱有關PersistentVolumes的信息

secret

secret 卷用於傳遞敏感信息，比如密碼，給pod。您可以將 secret 存儲在Kubernetes API中，並將其作為文件裝載，以供pods使用，而無需直接耦合到Kubernetes。 secret 卷由tmpfs（一個由RAM提供支持的文件系統）提供支持，因此它們永遠不會寫入非易失性存儲。

注意: 必須先在Kubernetes API中創建一個secret，然后才能使用它

注意：使用secret作為subPath卷加載的容器將不會接收secret更新。

有關更多詳細信息，請參閱有關 Configuring Secrets的信息

查看更多卷類型介紹：https://kubernetes.io/docs/concepts/storage/volumes/#volume-types

使用subPath

有時，在單個pod中共享一個卷以供多種用途是很有用的。volumeMounts.subPath屬性指定引用卷內的子路徑，而不是其根路徑，默認的，掛載卷到容器內指定路徑，會導致掛載該路徑所在根路徑下所有文件都消失，即根路徑下的內容會被被掛載卷的內容覆蓋。

配置示例1:

以下示例配置，將PHP應用代碼和assets（ js、css、模板、圖片、flash 等等資源文件）存儲在html文件夾，MySQL數據庫則存儲在mysql文件夾。不建議在生產環境使用該示例的subPath配置。

apiVersion: v1
kind: Pod
metadata:
  name: my-lamp-site
spec:
    containers:
    - name: mysql
      image: mysql
      env:
      - name: MYSQL_ROOT_PASSWORD
        value: "rootpasswd"
      volumeMounts:
      - mountPath: /var/lib/mysql
        name: site-data
        subPath: mysql
    - name: php
      image: php:7.0-apache
      volumeMounts:
      - mountPath: /var/www/html
        name: site-data
        subPath: html
    volumes:
    - name: site-data
      persistentVolumeClaim:
        claimName: my-lamp-site-data

配置示例2：引用路徑指向某個文件

apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-bypass
  namespace: nginx-bypass
spec:
  containers:
  - image: 'registry.cn-shenzhen.aliyuncs.com/cmall/nginx-bypass:latest'
    imagePullPolicy: Always
    name: nginx-bypass
    volumeMounts:
    - name: configs-volume
      mountPath: /usr/local/openresty/nginx/conf/config.yaml
      subPath: config.yaml
  volumes:
  - name: configs-volume
    onfigMap:
      name: nginx-bypass-configs
      defaultMode: 420

使用具有擴展環境變量的subPath

FEATURE STATE: Kubernetes v1.17 [stable]

使用subPathExpr字段從 downwardAPI環境變量構造 subPath目錄名。subPath和subPathExpr屬性是互斥的。

下例中，使用 Pod使用subPathExpr在hostPath 卷 /var/log/pods中創建pod1 目錄。 hostPath 卷從downwardAPI獲取 Pod名稱。宿主目錄 /var/log/pods/pod1 掛載到容器的/logs目錄

apiVersion: v1
kind: Pod
metadata:
  name: pod1
spec:
  containers:
  - name: container1
    env:
    - name: POD_NAME
      valueFrom:
        fieldRef:
          apiVersion: v1
          fieldPath: metadata.name
    image: busybox
    command: [ "sh", "-c", "while [ true ]; do echo 'Hello'; sleep 10; done | tee -a /logs/hello.txt" ]
    volumeMounts:
    - name: workdir1
      mountPath: /logs
      subPathExpr: $(POD_NAME)
  restartPolicy: Never
  volumes:
  - name: workdir1
    hostPath:
      path: /var/log/pods

資源

emptyDir 卷的存儲介質（磁盤、SSD 等）由保存在 kubelet 根目錄（通常是 /var/lib/kubelet）的文件系統的介質決定。 emptyDir 或 hostPath 卷可占用多少空間並沒有限制，容器之間或 Pod 之間也沒有隔離。