kubernetes使用ceph

一、有一個ceph cluster，假設已經准備好了，文檔網上一大堆

 

二、開始集成ceph和kuberntes

 2.1 禁用rbd features

rbd image有4個 features，layering, exclusive-lock, object-map, fast-diff, deep-flatten
因為目前內核僅支持layering，修改默認配置
每個ceph node的/etc/ceph/ceph.conf 添加一行
rbd_default_features = 1
這樣之后創建的image 只有這一個feature

驗證方式：

ceph --show-config|grep rbd|grep features
rbd_default_features = 1

2.2 創建ceph-secret這個k8s secret對象，這個secret對象用於k8s volume插件訪問ceph集群：

獲取client.admin的keyring值，並用base64編碼：

# ceph auth get-key client.admin
AQBRIaFYqWT8AhAAUtmJgeNFW/o1ylUzssQQhA==

# echo "AQBRIaFYqWT8AhAAUtmJgeNFW/o1ylUzssQQhA=="|base64
QVFCUklhRllxV1Q4QWhBQVV0bUpnZU5GVy9vMXlsVXpzc1FRaEE9PQo=

創建ceph-secret.yaml文件，data下的key字段值即為上面得到的編碼值：

apiVersion: v1
kind: Secret
metadata:
  name: ceph-secret
data:
  key: QVFCUklhRllxV1Q4QWhBQVV0bUpnZU5GVy9vMXlsVXpzc1FRaEE9PQo=

創建ceph-secret:

# kubectl create -f ceph-secret.yaml
secret "ceph-secret" created
# kubectl get secret
NAME     TYPE    DATA      AGE
ceph-secret  Opaque   1       2d
default-token-5vt3n  kubernetes.io/service-account-token 3 106d

三、Kubernetes Persistent Volume和Persistent Volume Claim
概念：PV是集群的資源，PVC請求資源並檢查資源是否可用
注意：以下操作設計到name的參數，一定要一致

3.1 創建disk image (以jdk保存到ceph舉例)

# rbd create jdk-image -s 1G
# rbd info jdk-image
rbd image ‘jdk-image‘:
        size 1024 MB in 256 objects
        order 22 (4096 kB objects)
        block_name_prefix: rbd_data.37642ae8944a
        format: 2
        features: layering
        flags:

3.2 創建pv

創建mysql-hzb-pv.yaml:

方式一：
monitors: 就是ceph的mon，有幾個寫幾個

apiVersion: v1
kind: PersistentVolume
metadata:
  name: mysql-hzb-pv
spec:
  capacity:
    storage: 10Gi
  accessModes:
    - ReadWriteOnce
  rbd:
    monitors:
      - 172.16.60.41:6789
      - 172.16.60.42:6789
      - 172.16.60.43:6789
    pool: rbd
    image: mysql-hzb
    user: admin
 keyring: "/etc/ceph/ceph.client.admin.keyring"
    fsType: ext4
    readOnly: false
  persistentVolumeReclaimPolicy: Recycle

方式二(仍然使用之前創建的ceph-secret)：

apiVersion: v1
kind: PersistentVolume
metadata:
  name: mysql-hzb-pv
spec:
  capacity:
    storage: 10Gi
  accessModes:
    - ReadWriteOnce
  rbd:
    monitors:
      - 172.16.60.41:6789
      - 172.16.60.42:6789
      - 172.16.60.43:6789
    pool: rbd
    image: mysql-hzb
    user: admin
 secretRef: name: ceph-secret
    fsType: ext4
    readOnly: false
  persistentVolumeReclaimPolicy: Recycle

注意上面兩種方式的紅色部分的區別

執行創建操作：

# kubectl create -f mysql-hzb-pv.yaml
persistentvolume "mysql-hzb-pv" created
#kubectl get pv
NAME            CAPACITY    ACCESSMODES   RECLAIMPOLICY   STATUS               CLAIM                   REASON    AGE
mysql-hzb-pv    10Gi        RWO           Recycle         Available            default/mysql-hzb-pvc             34m

3.3 創建pvc
創建mysql-hzb-pvc.yaml

kind: PersistentVolumeClaim
apiVersion: v1
metadata:
  name: mysql-hzb-pvc
spec:
  accessModes:
    - ReadWriteOnce
  volumeName: mysql-hzb-pv
  resources:
    requests:
      storage: 10Gi

 

執行創建操作：

# kubectl create -f mysql-hzb-pvc.yaml
persistentvolumeclaim "mysql-hzb-pv" created
# kubectl get pvc
NAME             STATUS    VOLUME          CAPACITY   ACCESSMODES   AGE
mysql-hzb-pvc    Bound     mysql-hzb-pv    10Gi         RWO          39s

3.4 創建掛載ceph rbd的pod:
創建 mysql-hzb-pod.yaml 

apiVersion: v1
kind: Pod
metadata:
  name: ceph-mysql-hzb-pod
spec:
  containers:
  - name: mysql-hzb
    image: 172.16.101.192/common/mysql:5.6
    env:
    - name: MYSQL_ROOT_PASSWORD
      value: "root"
    volumeMounts:
 - name: ceph-mysql-hzb-vl
      mountPath: /var/lib/mysql
      readOnly: false
  volumes:
 - name: ceph-mysql-hzb-vl
    persistentVolumeClaim:
      claimName: mysql-hzb-pvc

 

 上面的兩處紅色的名字一定要一樣

執行創建操作：

kubectl create -f mysql-hzb-pod.yaml

ceph rbd 持久化 這里描述下：

1、穩定性在於ceph
2、只能同一node掛載，不能跨node
3、讀寫只能一個pod，其他pod只能讀

官方url描述

https://kubernetes.io/docs/user-guide/volumes/#rbd

 

附官方關於kubernetes的volume的mode

https://kubernetes.io/docs/user-guide/persistent-volumes/

本文出自 “銀狐” 博客，請務必保留此出處http://foxhound.blog.51cto.com/1167932/1899545