k8s部署kafka集群

一、概述

在k8s里面部署kafka、zookeeper這種有狀態的服務，不能使用deployment和RC，k8s提供了一種專門用來部署這種有狀態的服務的API--statefulset，有狀態簡單來說就是需要持久化數據，比如日志、數據庫數據、服務狀態等。

statefulset應用場景：

• 穩定的持久化存儲，即Pod重新調度后還是能訪問到相同的持久化數據，基於PVC來實現
• 穩定的網絡標志，即Pod重新調度后其PodName和HostName不變，基於Headless Service（即沒有Cluster IP的Service）來實現
• 有序部署，有序擴展，即Pod是有順序的，在部署或者擴展的時候要依據定義的順序依次依次進行（即從0到N-1，在下一個Pod運行之前所有之前的Pod必須都是Running和Ready狀態），基於init containers來實現
• 有序收縮，有序刪除（即從N-1到0）

statefulset組成：

• 用於定義網絡標志（DNS domain）的Headless Service
• 用於創建PersistentVolumes的volumeClaimTemplates
• 定義具體應用的StatefulSet

StatefulSet中每個Pod的DNS格式為statefulSetName-{0..N-1}.serviceName.namespace.svc.cluster.local，其中 

• 0..N-1為Pod所在的序號，從0開始到N-1
• serviceName為Headless Service的名字
• statefulSetName為StatefulSet的名字
• namespace為服務所在的namespace，Headless Servic和StatefulSet必須在相同的namespace
• .cluster.local為Cluster Domain

 

二、部署

首先下載相關的部署文件：

git  clone  https://github.com/cuishuaigit/k8s-kafka.git

部署前需要提前准備nfs提供動態存儲，參考我之前的博客：https://www.cnblogs.com/cuishuai/p/9152277.html

cd  k8s-kafka

kubectl create -f namesapce.yaml

kubectl create -f zk.yaml 

kubectl create -f kafka.yaml

 

詳細信息參考：https://github.com/cuishuaigit/k8s-kafka