碼上歡樂
相關內容    簡體    繁體

Kubernetes 部署 Nebula 圖數據庫集群

本文轉載自   查看原文   2021-03-03 11:15   295    技術長文

本文首發於 Nebula Graph 官網：https://nebula-graph.com.cn/posts/how-to-deploy-nebula-graph-in-kubernetes/

Kubernetes 是什么

Kubernetes 是一個開源的，用於管理雲平台中多個主機上的容器化的應用，Kubernetes 的目標是讓部署容器化的應用簡單並且高效，Kubernetes 提供了應用部署，規划，更新，維護的一種機制。

Kubernetes 在設計結構上定義了一系列的構建模塊，其目的是為了提供一個可以部署、維護和擴展應用程序的機制，組成 Kubernetes 的組件設計理念為松耦合和可擴展的，這樣可以使之滿足多種不同的工作負載。可擴展性在很大程度上由 Kubernetes API 提供，此 API 主要被作為擴展的內部組件以及 Kubernetes 上運行的容器來使用。

k8s-architecture

Kubernetes 主要由以下幾個核心組件組成：

  • etcd  保存了整個集群的狀態
  • kube-apiserver 提供了資源操作的唯一入口，並提供認證、授權、訪問控制、API 注冊和發現等機制
  • kube-controller-manager 負責維護集群的狀態，比如故障檢測、自動擴展、滾動更新等
  • kube-scheduler 負責資源的調度，按照預定的調度策略將Pod調度到相應的機器上
  • kubelet 負責維護容器的生命周期，同時也負責 Volume和網絡的管理
  • kube-proxy 負責為 Service 提供 cluster 內部的服務發現和負載均衡

Kubernetes 和數據庫

數據庫容器化是最近的一大熱點，那么 Kubernetes 能為數據庫帶來什么好處呢？

  • 故障恢復：Kubernetes 提供故障恢復的功能，數據庫應用如果宕掉，Kubernetes 可以將其自動重啟，或者將數據庫實例遷移到集群中其他節點上
  • 存儲管理：Kubernetes 提供了豐富的存儲接入方案，數據庫應用能透明地使用不同類型的存儲系統
  • 負載均衡：Kubernetes Service 提供負載均衡功能，能將外部訪問均衡到不同的數據庫實例副本上
  • 水平拓展：Kubernetes 可以根據當前數據庫集群的資源利用率情況，縮放副本數目，從而提升資源的利用率

目前很多數據庫，如：MySQL，MongoDB 和 TiDB 在 Kubernetes 集群中都能運行良好。

Nebula Graph 在 Kubernetes 中的實踐

Nebula Graph 是一個分布式的開源圖數據庫，主要組件有：Query Engine 的 graphd，數據存儲的 storaged，和元數據的 meted。在 Kubernetes 實踐過程中，它主要給圖數據庫 Nebula Graph 帶來了以下的好處：

  • Kubernetes 能均衡 nebula graphd，metad 和 storaged 不同副本之間的負載。graphd，metad 和 storaged 可以通過 Kubernetes 的域名服務自動發現彼此。
  • 通過 StorageClass，PVC 和 PV 可以屏蔽底層存儲細節，無論使用本地卷還是雲盤，Kubernetes 均可以透明對接。
  • 通過 Kubernetes 可以在數秒內成功部署一套 Nebula 集群，Kubernetes 也可以無感知地實現 Nebula 集群的升級。
  • Nebula 集群通過 Kubernetes 可以做到自我恢復，單體副本 crash，Kubernetes 可以重新將其拉起，無需運維人員介入。
  • Kubernetes 可以根據當前 Nebula 集群的資源利用率情況彈性伸縮集群規模，從而提升集群的性能。

下面來講解下具體的實踐內容。

集群部署

硬件和軟件要求

這里主要羅列下本文部署涉及到的機器、操作系統參數

  • 操作系統使用的 CentOS-7.6.1810 x86_64
  • 虛擬機配置
    • 4 CPU
    • 8G 內存
    • 50G 系統盤
    • 50G 數據盤 A
    • 50G 數據盤 B
  • Kubernetes 集群版本 v1.14+
  • Nebula 版本為 v2.0.0-rc1
  • 使用本地 PV 作為數據存儲
  • CoreDNS 版本 1.6.0+

K8s 集群規划

以下為集群清單

服務器 IP nebula 實例 role
192.168.0.1 master
192.168.0.2 graphd, metad-0, storaged-0 node
192.168.0.3 graphd, metad-1, storaged-1 node
192.168.0.4 graphd, metad-2, storaged-2 node

K8s 待部署組件

  • 安裝 Helm3
  • 准備本地磁盤，並安裝本地卷插件
  • 安裝 nebula 集群

安裝 Helm3

Helm 是 Kubernetes 集群上的包管理工，使用 Helm 可以極大地降低使用 Kubernetes 部署應用的門檻。本文不做 Helm 詳細介紹，有興趣的小伙伴可自行閱讀《Helm 入門指南》。

下載安裝 Helm

使用下面命令在終端執行即可安裝 Helm

$ wget https://get.helm.sh/helm-v3.5.2-linux-amd64.tar.gz
$ tar -zxvf helm/helm-v3.5.2-linux-amd64.tgz
$ mv linux-amd64/helm /usr/bin/helm

查看 Helm 版本

執行 helm version 命令即可查看對應的 Helm 版本，以文本為例，以下為輸出結果：

version.BuildInfo{Version:"v3.5.2", GitCommit:"167aac70832d3a384f65f9745335e9fb40169dc2", GitTreeState:"dirty", GoVersion:"go1.15.7"}

設置本地磁盤

在每台機器上做如下配置

創建 mount 目錄

$ sudo mkdir -p /mnt/disks

格式化數據盤

$ sudo mkfs.ext4 /dev/diskA 
$ sudo mkfs.ext4 /dev/diskB

掛載數據盤

$ DISKA_UUID=$(blkid -s UUID -o value /dev/diskA) 
$ DISKB_UUID=$(blkid -s UUID -o value /dev/diskB) 
$ sudo mkdir /mnt/disks/$DISKA_UUID
$ sudo mkdir /mnt/disks/$DISKB_UUID
$ sudo mount -t ext4 /dev/diskA /mnt/disks/$DISKA_UUID
$ sudo mount -t ext4 /dev/diskB /mnt/disks/$DISKB_UUID

$ echo UUID=`sudo blkid -s UUID -o value /dev/diskA` /mnt/disks/$DISKA_UUID ext4 defaults 0 2 | sudo tee -a /etc/fstab
$ echo UUID=`sudo blkid -s UUID -o value /dev/diskB` /mnt/disks/$DISKB_UUID ext4 defaults 0 2 | sudo tee -a /etc/fstab

部署本地卷插件

$ curl https://github.com/kubernetes-sigs/sig-storage-local-static-provisioner/archive/v2.4.0.zip
$ unzip v2.4.0.zip

修改 v2.4.0/helm/provisioner/values.yaml classes 部分：

  • 將 hostDir: /mnt/fast-disks 改成 hostDir: /mnt/disks，# storageClass: true 改成 storageClass: true。然后執行：
$ helm install local-static-provisioner --namespace default sig-storage-local-static-provisioner/helm/provisioner
# 查看 local-static-provisioner 部署情況
$ helm list
NAME                    	NAMESPACE	REVISION	UPDATED                              	STATUS  	CHART            	APP VERSION
local-volume-provisioner	default  	1       	2021-02-10 11:06:34.3540341 +0800 CST	deployed	provisioner-2.4.0	2.4.0

部署 nebula 集群

下載 nebula helm chart

# 下載 nebula chart
$ helm repo add nebula-charts https://vesoft-inc.github.io/nebula-docker-compose
$ helm pull nebula-charts/nebula
$ tar -zxvf nebula-v2.0.0.tgz

設置 Kubernetes node節點

下面是 Kubernetes 節點列表，我們需要設置 node 節點的調度標簽。可以將 192.168.0.2，192.168.0.3，192.168.0.4 打上 nebula: "cloud" 的標簽。

服務器 IP kubernetes roles nodeName
192.168.0.1 master 192.168.0.1
192.168.0.2 node 192.168.0.2
192.168.0.3 node 192.168.0.3
192.168.0.4 node 192.168.0.4

具體操作如下：

$ kubectl  label node 192.168.0.2 nebula="cloud" --overwrite 
$ kubectl  label node 192.168.0.3 nebula="cloud" --overwrite
$ kubectl  label node 192.168.0.4 nebula="cloud" --overwrite

調整 values 默認值

nebula helm chart 目錄如下:

nebula
├── Chart.yaml
├── README.md
├── templates
│   ├── configmap.yaml
│   ├── deployment.yaml
│   ├── _helpers.tpl
│   ├── NOTES.txt
│   ├── pdb.yaml
│   ├── serviceaccount.yaml
│   ├── service.yaml
│   └── statefulset.yaml
└── values.yaml

1 directory, 11 files

可以根據運行環境需求修改 charts/nebula/values.yaml  里面的默認值

通過 helm 安裝 nebula

$ helm install nebula charts/nebula 
# 查看部署狀態
$ helm status nebula
NAME: nebula
LAST DEPLOYED: Fri Feb 19 12:58:16 2021
NAMESPACE: default
STATUS: deployed
REVISION: 1
TEST SUITE: None
NOTES:
Nebula Graph Cluster installed!

1. Watch all containers come up.
  $ kubectl get pods --namespace=default -l app.kubernetes.io=nebula -w
# 查看 K8s 集群上 nebula 部署情況
$ kubectl get pods --namespace=default -l app.kubernetes.io=nebula
NAME                             READY   STATUS    RESTARTS   AGE
nebula-graphd-676cfcf797-4q7mk   1/1     Running   0          6m
nebula-graphd-676cfcf797-whwqp   1/1     Running   0          6m
nebula-graphd-676cfcf797-zn5l6   1/1     Running   0          6m
nebula-metad-0                   1/1     Running   0          6m
nebula-metad-1                   1/1     Running   0          6m
nebula-metad-2                   1/1     Running   0          6m
nebula-storaged-0                1/1     Running   0          6m
nebula-storaged-1                1/1     Running   0          6m
nebula-storaged-2                1/1     Running   0          6m

訪問 nebula 集群:

$ kubectl get service nebula-graphd
NAME            TYPE       CLUSTER-IP      EXTERNAL-IP   PORT(S)                                          AGE
nebula-graphd   NodePort   10.105.47.116   <none>        9669:31646/TCP,19669:30554/TCP,19670:32386/TCP   22m

# 使用 nebula-console 測試
$ docker run --rm -ti --entrypoint=/bin/sh vesoft/nebula-console:v2-nightly
# 通過 NodePort 連接到 graphd 組件
/ $ nebula-console -addr 192.168.0.4 -port 31646 -u root -p vesoft
2021/02/19 05:04:55 [INFO] connection pool is initialized successfully

Welcome to Nebula Graph v2.0.0-rc1!

(root@nebula) [(none)]> show hosts;
+---------------------------------------------------------------+------+----------+--------------+----------------------+------------------------+
| Host                                                          | Port | Status   | Leader count | Leader distribution  | Partition distribution |
+---------------------------------------------------------------+------+----------+--------------+----------------------+------------------------+
| "nebula-storaged-0.nebula-storaged.default.svc.cluster.local" | 9779 | "ONLINE" | 0            | "No valid partition" | "No valid partition"   |
+---------------------------------------------------------------+------+----------+--------------+----------------------+------------------------+
| "nebula-storaged-1.nebula-storaged.default.svc.cluster.local" | 9779 | "ONLINE" | 0            | "No valid partition" | "No valid partition"   |
+---------------------------------------------------------------+------+----------+--------------+----------------------+------------------------+
| "nebula-storaged-2.nebula-storaged.default.svc.cluster.local" | 9779 | "ONLINE" | 0            | "No valid partition" | "No valid partition"   |
+---------------------------------------------------------------+------+----------+--------------+----------------------+------------------------+
| "Total"                                                       |      |          | 0            |                      |                        |
+---------------------------------------------------------------+------+----------+--------------+----------------------+------------------------+
Got 4 rows (time spent 2608/4258 us)

FAQ

如何搭建一套 Kubernetes 集群？

搭建高可用的 Kubernetes 可以參考社區文檔：https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/high-availability/

如何調整 nebula 集群的部署參數？

在使用 helm install 時，使用 --set 可以設置部署參數，從而覆蓋掉 helm chart 中 values.yaml 中的變量。參考文檔：https://helm.sh/docs/intro/using_helm/

能否兼容 nebula v1.0.0+ 集群部署？

v1.0.0+ 不支持內部域名解析，需要修改 charts/nebula/values.yaml，配置如下:

hostNetwork: true
metadEndpoints: []
  - 192.168.0.2:9559
  - 192.168.0.3:9559
  - 192.168.0.4:9559

如何在 K8s 集群外部訪問 nebula 內部組件？

本文使用 NodePort 的方式訪問 graphd 組件，其他的訪問方式還有 hostPort、hostNetwork、Ingress、LoadBalancer，需要您根據實際的部署環境來定制。

如何查看 nebula 集群狀況？

使用 kubectl get pods --namespace=default -l app.kubernetes.io=nebula命令，或者直接在 Kubernetes dashboard 上查看 nebula 集群的運行狀況。

如何使用其他類型的存儲？

參考文檔：https://kubernetes.io/zh/docs/concepts/storage/storage-classes/

推薦閱讀


免責聲明！

本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。



猜您在找 圖數據庫（Nebula）使用時遇到的坑 Nebula 架構剖析系列（一）圖數據庫的存儲設計 圖數據庫 Nebula Graph 在 Boss 直聘的應用 使用圖數據庫 Nebula Graph 數據導入快速體驗知識圖譜 OwnThink 一文讀懂圖數據庫 Nebula Graph 訪問控制實現原理 Nebula 架構剖析系列（零）圖數據庫的整體架構設計 分布式圖數據庫 Nebula Graph 的 Index 實踐 Nebula 架構剖析系列（二）圖數據庫的查詢引擎設計 圖數據庫 kubeadm部署kubernetes集群
 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM