k8s安裝部署過程個人總結及參考文章

  

以下是本人安裝k8s過程

一、單機配置

1. 環境准備

主機名	IP	配置
master1	192.168.1.181	1C 4G

關閉所有節點的seliux以及firewalld

sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config
setenforce 0
systemctl disable firewalld
systemctl stop firewalld

 

 2. 安裝docker

使用文件docker-packages.tar，每個節點都要安裝。

tar -xvf docker-packages.tar
cd docker-packages
rpm -Uvh * 或者 yum install local *.rpm  進行安裝
docker version        #安裝完成查看版本

 啟動docker，並設置為開機自啟

systemctl start docker && systemctl enable docker

 輸入docker info，==記錄Cgroup Driver==

Cgroup Driver: cgroupfs
docker和kubelet的cgroup driver需要一致，如果docker不是cgroupfs，則執行

cat << EOF > /etc/docker/daemon.json
{
  "exec-opts": ["native.cgroupdriver=cgroupfs"]
}
EOF
systemctl daemon-reload && systemctl restart docker

 3. 安裝kubeadm，kubectl，kubelet

使用文件kube-packages-1.10.1.tar，每個節點都要安裝
kubeadm是集群部署工具
kubectl是集群管理工具，通過command來管理集群
kubelet的k8s集群每個節點的docker管理服務

tar -xvf kube-packages-1.10.1.tar
cd kube-packages-1.10.1
rpm -Uvh * 或者 yum install local *.rpm  進行安裝

 在所有kubernetes節點上設置kubelet使用cgroupfs，與dockerd保持一致，否則kubelet會啟動報錯

默認kubelet使用的cgroup-driver=systemd，改為cgroup-driver=cgroupfs

sed -i "s/cgroup-driver=systemd/cgroup-driver=cgroupfs/g" /etc/systemd/system/kubelet.service.d/10-kubeadm.conf

 重設kubelet服務，並重啟kubelet服務

systemctl daemon-reload && systemctl restart kubelet

 關閉swap，及修改iptables，不然后面kubeadm會報錯

swapoff -a
vi /etc/fstab   #swap一行注釋

cat <<EOF >  /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
sysctl --system

 

4. 導入鏡像

使用文件k8s-images-1.10.tar.gz，每個節點都要執行
節點較少，就不搭建鏡像倉庫服務了，后續要用的應用鏡像，每個節點都要導入

docker load -i k8s-images-1.10.tar.gz 
一共11個鏡像，分別是
k8s.gcr.io/etcd-amd64:3.1.12 
k8s.gcr.io/kube-apiserver-amd64:v1.10.1 
k8s.gcr.io/kube-controller-manager-amd64:v1.10.1 
k8s.gcr.io/kube-proxy-amd64:v1.10.1 
k8s.gcr.io/kube-scheduler-amd64:v1.10.1 
k8s.gcr.io/pause-amd64:3.1 
k8s.gcr.io/k8s-dns-kube-dns-amd64:1.14.8  
k8s.gcr.io/k8s-dns-dnsmasq-nanny-amd64:1.14.8 
k8s.gcr.io/k8s-dns-sidecar-amd64:1.14.8 
k8s.gcr.io/kubernetes-dashboard-amd64:v1.8.3 
quay.io/coreos/flannel:v0.9.1-amd64 

5. kubeadm init 部署master節點

只在master執行。此處選用最簡單快捷的部署方案。etcd、api、controller-manager、 scheduler服務都會以容器的方式運行在master。etcd 為單點，不帶證書。etcd的數據會掛載到master節點/var/lib/etcd
init部署是支持etcd 集群和證書模式的，配置方法見我1.9的文檔，此處略過。

init命令注意要指定版本，和pod范圍

kubeadm init --kubernetes-version=v1.10.1 --pod-network-cidr=10.244.0.0/16

 Your Kubernetes master has initialized successfully!  To start using your cluster, you need to run the following as a regular user: mkdir -p $HOME/.kube sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config sudo chown $(id -u):$(id -g) $HOME/.kube/config You should now deploy a pod network to the cluster. Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at: https://kubernetes.io/docs/concepts/cluster-administration/addons/ You can now join any number of machines by running the following on each node as root: kubeadm join 192.168.1.181:6443 --token wct45y.tq23fogetd7rp3ck --discovery-token-ca-cert-hash sha256:c267e2423dba21fdf6fc9c07e3b3fa17884c4f24f0c03f2283a230c70b07772f

記下join的命令，后續node節點加入的時候要用到

執行提示的命令，保存kubeconfig

mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config

此時執行kubectl get node 已經可以看到master節點，notready是因為還未部署網絡插件

[root@master1 kubernetes1.10]# kubectl get node
NAME      STATUS     ROLES     AGE       VERSION
master1   NotReady   master    3m        v1.10.1

查看所有的pod，kubectl get pod --all-namespaces
kubedns也依賴於容器網絡，此時pending是正常的

[root@master1 kubernetes1.10]# kubectl get pod --all-namespaces
NAMESPACE     NAME                              READY     STATUS    RESTARTS   AGE
kube-system   etcd-master1                      1/1       Running   0          3m
kube-system   kube-apiserver-master1            1/1       Running   0          3m
kube-system   kube-controller-manager-master1   1/1       Running   0          3m
kube-system   kube-dns-86f4d74b45-5nrb5         0/3       Pending   0          4m
kube-system   kube-proxy-ktxmb                  1/1       Running   0          4m
kube-system   kube-scheduler-master1            1/1       Running   0          3m

配置KUBECONFIG變量

echo "export KUBECONFIG=/etc/kubernetes/admin.conf" >> /etc/profile
source /etc/profile
echo $KUBECONFIG    #應該返回/etc/kubernetes/admin.conf

6. 部署flannel網絡

k8s支持多種網絡方案，flannel，calico，openvswitch
此處選擇flannel。 在熟悉了k8s部署后，可以嘗試其他網絡方案，我另外一篇1.9部署中有介紹flannel和calico的方案，以及切換時需要的動作。

kubectl apply -f kube-flannel.yml

 網絡就緒后，節點的狀態會變為ready

[root@master1 kubernetes1.10]# kubectl get node
NAME      STATUS    ROLES     AGE       VERSION
master1   Ready     master    18m       v1.10.1

7. 部署k8s ui界面，dashboard

dashboard是官方的k8s 管理界面，可以查看應用信息及發布應用。dashboard的語言是根據瀏覽器的語言自己識別的
官方默認的dashboard為https方式，如果用chrome訪問會拒絕。本次部署做了修改，方便使用，使用了http方式，用chrome訪問正常。
一共需要導入3個yaml文件

kubectl apply -f kubernetes-dashboard-http.yaml
kubectl apply -f admin-role.yaml
kubectl apply -f kubernetes-dashboard-admin.rbac.yaml

[root@master1 kubernetes1.10]# kubectl apply -f kubernetes-dashboard-http.yaml 
serviceaccount "kubernetes-dashboard" created
role.rbac.authorization.k8s.io "kubernetes-dashboard-minimal" created
rolebinding.rbac.authorization.k8s.io "kubernetes-dashboard-minimal" created
deployment.apps "kubernetes-dashboard" created
service "kubernetes-dashboard" created
[root@master1 kubernetes1.10]# kubectl apply -f admin-role.yaml 
clusterrolebinding.rbac.authorization.k8s.io "kubernetes-dashboard" created
[root@master1 kubernetes1.10]# kubectl apply -f kubernetes-dashboard-admin.rbac.yaml 
clusterrolebinding.rbac.authorization.k8s.io "dashboard-admin" created

創建完成后，通過 http://任意節點的IP:31000即可訪問ui

8. FAQ

8.1 kubectl 命令補全

  # yum install -y bash-completion　

  # source /usr/share/bash-completion/bash_completion
　# source <(kubectl completion bash)

　　就可以完成補全了

二、集群配置 

步驟基本相同：請參考centos7.3 kubernetes/k8s 1.10 離線安裝 (推薦離線安裝)

 

 

參考文章如下：

1、 安裝部署 Kubernetes 集群

參考資料：

• Using kubeadm to Create a Cluster（推薦）
• Kubernetes on bare-metal in 10 minutes
• 使用 Kubeadm 安裝 Kubernetes
• 和我一步步部署 kubernetes 集群（推薦）
• Traefik-kubernetes 初試（推薦）
• Kubernetes 集群 Dashboard 插件安裝
• Kubernetes Dashboard 集成 Heapster
• 升級 Dashboard
• 安裝 dashboard 插件
• 安裝 Kubernetes Dashboard
• 安裝 heapster 插件

2、centos7.3 kubernetes/k8s 1.10 離線安裝 (推薦離線安裝)