K8s & K3s 集群中構建雲原生存儲系統( rook + ceph )

前景提要

容器的持久化存儲是保存容器存儲狀態的重要手段，存儲插件會在容器里掛載一個基於網絡或者其他機制的遠程數據卷，使得在容器里創建的文件，實際上是保存在遠程存儲服務器上，或者以分布式的方式保存在多個節點上，而與當前宿主機沒有任何綁定關系。這樣，無論你在其他哪個宿主機上啟動新的容器，都可以請求掛載指定的持久化存儲卷，從而訪問到數據卷里保存的內容。
由於 Kubernetes 本身的松耦合設計，絕大多數存儲項目，比如 Ceph、GlusterFS、NFS 等，都可以為 Kubernetes 提供持久化存儲能力。

1 Rook 簡介

Rook 是一個開源的cloud-native storage編排, 提供平台和框架；為各種存儲解決方案提供平台、框架和支持，以便與雲原生環境本地集成。
Rook 將存儲軟件轉變為自我管理、自我擴展和自我修復的存儲服務，它通過自動化部署、引導、配置、置備、擴展、升級、遷移、災難恢復、監控和資源管理來實現此目的。
Rook 使用底層雲本機容器管理、調度和編排平台提供的工具來實現它自身的功能。
Rook 目前支持Ceph、NFS、Minio Object Store和CockroachDB。

Rook使用Kubernetes原語使Ceph存儲系統能夠在Kubernetes上運行。下圖說明了Ceph Rook如何與Kubernetes集成：

隨着Rook在Kubernetes集群中運行，Kubernetes應用程序可以掛載由Rook管理的塊設備和文件系統，或者可以使用S3 / Swift API提供對象存儲。Rook oprerator自動配置存儲組件並監控群集，以確保存儲處於可用和健康狀態。
Rook oprerator是一個簡單的容器，具有引導和監視存儲集群所需的全部功能。oprerator將啟動並監控ceph monitor pods和OSDs的守護進程，它提供基本的RADOS存儲。oprerator通過初始化運行服務所需的pod和其他組件來管理池，對象存儲（S3 / Swift）和文件系統的CRD。
oprerator將監視存儲后台駐留程序以確保群集正常運行。Ceph mons將在必要時啟動或故障轉移，並在群集增長或縮小時進行其他調整。oprerator還將監視api服務請求的所需狀態更改並應用更改。
Rook oprerator還創建了Rook agent。這些agent是在每個Kubernetes節點上部署的pod。每個agent都配置一個Flexvolume插件，該插件與Kubernetes的volume controller集成在一起。處理節點上所需的所有存儲操作，例如附加網絡存儲設備，安裝卷和格式化文件系統。

該rook容器包括所有必需的Ceph守護進程和工具來管理和存儲所有數據 - 數據路徑沒有變化。 rook並沒有試圖與Ceph保持完全的忠誠度。 許多Ceph概念（如placement groups和crush maps）都是隱藏的，因此您無需擔心它們。 相反，Rook為管理員創建了一個簡化的用戶體驗，包括物理資源，池，卷，文件系統和buckets。 同時，可以在需要時使用Ceph工具應用高級配置。
Rook在golang中實現。Ceph在C ++中實現，其中數據路徑被高度優化。我們相信這種組合可以提供兩全其美的效果。

2 Ceph 簡介

Ceph是一種高度可擴展的分布式存儲解決方案，提供對象、文件和塊存儲。在每個存儲節點上，您將找到Ceph存儲對象的文件系統和Ceph OSD（對象存儲守護程序）進程。在Ceph集群上，您還可以找到Ceph MON（監控）守護程序，它們確保Ceph集群保持高可用性。

部署及運維

1 K8s/K3s 集群准備

利用 K8s & K3s 快速的構建節點的數量 >= 3 的測試集群

172.16.31.237 master
172.16.31.241 work01
172.16.31.238 work02

172.16.31.236 work03
172.16.31.235 work04
172.16.31.240 work05

說明: 在集群中至少有三個節點可用，滿足ceph高可用要求，這里已配置master節點使其支持運行pod。

2 Ceph 存儲方式

rook默認使用所有節點的所有資源，rook operator自動在所有節點上啟動OSD設備，Rook會用如下標准監控並發現可用設備：

• 設備沒有分區
• 設備沒有格式化的文件系統

添加新磁盤:
這里在所有節點添加1塊50GB的新磁盤：/dev/sdb，作為OSD盤，提供存儲空間，添加完成后掃描磁盤，確保主機能夠正常識別到：

#掃描 SCSI總線並添加 SCSI 設備
for host in $(ls /sys/class/scsi_host) ; do echo "- - -" > /sys/class/scsi_host/$host/scan; done

#重新掃描 SCSI 總線
for scsi_device in $(ls /sys/class/scsi_device/); do echo 1 > /sys/class/scsi_device/$scsi_device/device/rescan; done

#查看已添加的磁盤，能夠看到sdb說明添加成功
lsblk

說明: Rook不會使用不滿足以上標准的設備。另外也可以通過修改配置文件，指定哪些節點或者設備會被使用。

3 Rook Operator 部署

• 最低版本
  注: Rook支持Kubernetes v1.10或更高版本

• 先決條件
  如果您要dataDirHostPath在kubernetes主機上持久保留rook數據，請確保您的主機在指定路徑上至少有5GB的可用空間。
  可以參考以下文檔 及 kubectl 命令和示例yaml文件創建一個簡單的Rook集群。

• 版本分支

# 克隆rook github倉庫到本地
git clone https://github.com/rook/rook.git
# 查看版本。然后切換分支。切換分支之后按照官方文檔的方式進行部署
git checkout release-1.1

• 環境拉起

# 進入 Rook 部署目錄
cd cluster/examples/kubernetes/ceph
kubectl create -f common.yaml
kubectl create -f operator.yaml

4 Rook Cluster 創建

# cluster測試就使用下面的yaml
kubectl create -f cluster-test.yaml
# 正式環境使用
kubectl create -f cluster.yaml

每個節點都加載一塊無格式化的硬盤，因為使用官方的部署方式，不自己進行修改cluster.yaml的參數的話，會自動掃描磁盤。上生產環境的時候，需要自己指定磁盤類型

# 案例介紹
# 其中bluestore是直接使用裸磁盤的意思，會加打磁盤的效率
# filestore
nodes:
- name: "master001"
  devices:
  - name: "sdb"
  - name: "sdc"
  config:
    storeType: bluestore
- name: "master002"
  devices:
  - name: "sdb"
  - name: "sdc"
  config:
    storeType: bluestore
- name: "master003"
  devices:
  - name: "sdb"
  - name: "sdc"
  config:
    storeType: bluestore

說明: 集群運行后，您可以創建塊，對象或文件存儲，以供集群中的其他應用程序使用。

5 rook-ceph-tools 檢查

Rook工具箱是一個容器，其中包含用於rook調試和測試的常用工具。該工具箱基於CentOS，因此可以使用輕松安裝更多選擇的工具yum。
在Kubernetes中運行工具箱，Rook工具箱可以作為Kubernetes集群中的部署運行。確保已部署rook的Kubernetes集群正在運行時（請參閱Kubernetes說明），啟動rook-ceph-tools pod。

# 啟動rook-ceph-tools pod
kubectl create -f toolbox.yaml
# 等待工具箱窗格下載其容器並進入 running 狀態
kubectl -n rook-ceph get pod -l "app=rook-ceph-tools"
# rook-ceph-tools pod運行后，您可以使用以下命令連接到它
kubectl -n rook-ceph exec -it $(kubectl -n rook-ceph get pod -l "app=rook-ceph-tools" -o jsonpath='{.items[0].metadata.name}') bash

ceph 工具箱問題排查:

# 查看 ceph 狀態
ceph status
# 查看 ceph osd 狀態
ceph osd status
# 查看 ceph 存儲
ceph df
# 查看 ceph osd 存儲
rados df

# 使用完工具箱后，可以刪除部署
kubectl -n rook-ceph delete deployment rook-ceph-tools

配置ceph dashboard

在cluster.yaml文件中默認已經啟用了ceph dashboard，查看dashboard的service：

#  查看 ceph 的 deployment
$kubectl -n rook-ceph get deployment
NAME                           READY   UP-TO-DATE   AVAILABLE   AGE
rook-ceph-operator             1/1     1            1           162m
csi-cephfsplugin-provisioner   2/2     2            2           157m
rook-ceph-mon-a                1/1     1            1           155m
rook-ceph-mgr-a                1/1     1            1           155m
rook-ceph-osd-0                1/1     1            1           155m
rook-ceph-osd-3                1/1     1            1           154m
rook-ceph-osd-1                1/1     1            1           155m
rook-ceph-osd-2                1/1     1            1           155m
rook-ceph-osd-4                1/1     1            1           149m
csi-rbdplugin-provisioner      2/2     2            2           157m
rook-ceph-osd-5                1/1     1            1           95m
# 查看 ceph 的 service
$kubectl get service -n rook-ceph
NAME                                     TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)             AGE
csi-rbdplugin-metrics                    ClusterIP   10.43.14.242    <none>        8080/TCP,8081/TCP   156m
csi-cephfsplugin-metrics                 ClusterIP   10.43.167.36    <none>        8080/TCP,8081/TCP   156m
rook-ceph-mon-a                          ClusterIP   10.43.229.177   <none>        6789/TCP,3300/TCP   155m
rook-ceph-mgr-dashboard                  ClusterIP   10.43.59.114    <none>        8443/TCP            154m
rook-ceph-mgr                            ClusterIP   10.43.185.3     <none>        9283/TCP            154m
rook-ceph-mgr-dashboard-external-https   NodePort    10.43.60.127    <none>        8443:30782/TCP      60m

rook-ceph-mgr-dashboard監聽的端口是8443，創建nodeport類型的service以便集群外部訪問

# 創建對外的服務
cd cluster/examples/kubernetes/ceph
kubectl apply -f rook/cluster/examples/kubernetes/ceph/dashboard-external-https.yaml
# 查看端口號，也可以自定義好端口號
kubectl get svc -n rook-ceph | grep rook-ceph-mgr-dashboard-external-https
# 查看一下nodeport暴露的端口
$kubectl get service -n rook-ceph | grep dashboard
rook-ceph-mgr-dashboard                  ClusterIP   10.43.59.114    <none>        8443/TCP            158m
rook-ceph-mgr-dashboard-external-https   NodePort    10.43.60.127    <none>        8443:30782/TCP      64m

# 獲取Dashboard的登陸賬號和密碼
[centos@k8s-master ~]$ MGR_POD=`kubectl get pod -n rook-ceph | grep mgr | awk '{print $1}'`
[centos@k8s-master ~]$ kubectl -n rook-ceph logs $MGR_POD | grep password
2019-01-03 05:44:00.585 7fced4782700  0 log_channel(audit) log [DBG] : from='client.4151 10.244.1.2:0/3446600469' entity='client.admin' cmd=[{"username": "admin", "prefix": "dashboard set-login-credentials", "password": "8v2AbqHDj6", "target": ["mgr", ""], "format": "json"}]: dispatch
[centos@k8s-master ~]$ 

# 方式二：查看賬號/密碼信息（默認 admin）
kubectl -n rook-ceph get secret rook-ceph-dashboard-password -o yaml | grep "password:" | awk '{print $2}'  | awk 'NR==1' | base64 --decode

說明: 找到username和password字段，我這里是admin，8v2AbqHDj6 ; 打開瀏覽器輸入任意一個Node的IP+nodeport端口，這里使用master節點 ip訪問：

登錄后界面如下：

備注說明:
可以看到 dataDirHostPath: /var/lib/rook 字段還有spec.storage.directories.path也需要修改成一樣的
可以根據自己的需求進行修改默認的存儲路徑

cat cluster.yaml

存儲清理

刪除已創建的Ceph集群，可執行下面命令

kubectl delete -f cluster.yaml

刪除Ceph集群后，在之前部署Ceph組件節點的/var/lib/rook/目錄，會遺留下Ceph集群的配置信息。
若之后再部署新的Ceph集群，先把之前Ceph集群的這些信息刪除，不然啟動monitor會失敗；

# cat clean-rook-dir.sh
hosts=(
  k8s-master
  k8s-node1
  k8s-node2
)

for host in ${hosts[@]} ; do
  ssh $host "rm -rf /var/lib/rook/*"
done

拓展閱讀

Ceph 是聖克魯茲加利福尼亞大學的 Sage Weil 在 2003 年開發的，也是他博士學位項目中的一部分。Ceph LTS 成熟穩定、高可用、生態強大，在雲原生時代和 Kubernetes 緊密集成。

Ceph 基於 RADOS（Reliable Autonomic Distributed Object Store ）的高可用存儲，在雲原生時代之前 2003 年發行起，已經廣泛生產部署的高可用存儲，支持最廣泛的塊存儲 RBD、文件 POSIX Cephfs 以及對象存儲訪問協議。

RedHat／SUSE 目前是 Ceph 最主要的商業化支持者，在多個容器平台落地案例中，RBD、CephFS 都被采用作為容器平台實施的主要存儲，用來彌補基礎雲存儲的缺失。

參考鏈接:
Rook官網：https://rook.io
root項目地址：https://github.com/rook/rook
rook官方參考文檔：https://rook.github.io/docs/rook/v0.9/ceph-quickstart.html