k8s安裝

 

官方安裝文檔可以參考 https://kubernetes.io/docs/setup/independent/install-kubeadm/

 

第一步：安裝docker

所有節點都需要安裝docker

每個節點都需要使docker開機自啟

[root@localhost yum.repos.d]# wget http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
[root@ken ~]# yum install docker-ce -y
[root@ken ~]# mkdir /etc/docker
[root@ken ~]# cat /etc/docker/daemon.json
{
  "registry-mirrors": ["https://XXX.mirror.aliyuncs.com"]
}
[root@ken ~]# systemctl restart docker
[root@ken ~]# systemctl enable docker

 

第二步：配置k8s的yum文件

[k8s]
name=k8s
enabled=1
gpgcheck=0
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/

 

第三步：安裝 kubelet、kubeadm 和 kubectl（所有節點執行）

kubelet 運行在 Cluster 所有節點上，負責啟動 Pod 和容器。

kubeadm 用於初始化 Cluster。

kubectl 是 Kubernetes 命令行工具。通過 kubectl 可以部署和管理應用，查看各種資源，創建、刪除和更新各種組件。

[root@ken ~]# yum install kubelet kubeadm kubectl -y

 

第四步：啟動kubelet

此時，還不能啟動kubelet，因為此時配置還不能，現在僅僅可以設置開機自啟動

[root@ken ~]# systemctl enable kubelet

 

用 kubeadm 創建 Cluster

 

第一步：環境准備（各個節點都需要執行下面的操作master,node）

1.CPU數量至少兩個否則會報錯

 

2. 主機名必須解析

[root@ken ~]# cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
172.20.10.2 ken
172.20.10.7 host1
172.20.10.9 host2

 

3.要保證打開內置的橋功能，這個是借助於iptables來實現的

需要安裝docker才會成/proc/sys/net/bridge/bridge-nf-call-iptables

[root@ken ~]# echo "1" >/proc/sys/net/bridge/bridge-nf-call-iptables

 

4. 需要禁止各個節點啟用swap，如果啟用了swap，那么kubelet就無法啟動

[root@ken ~]# swapoff -a && sysctl -w vm.swappiness=0
vm.swappiness = 0

[root@ken ~]# free -m
              total        used        free      shared  buff/cache   available
Mem:            991         151         365           7         475         674
Swap:             0           0           0

 

5.關閉防火牆和selinux

 

第二步：初始化master

1.13.1版本可能太老了，在初始化的時候可以選擇更高的版本，例如：1.15.1

[root@ken ~]# kubeadm init --image-repository registry.aliyuncs.com/google_containers --kubernetes-version v1.15.1 --apiserver-advertise-address 172.20.10.2 --pod-network-cidr=10.244.0.0/16

 

–image-repository string：這個用於指定從什么位置來拉取鏡像（1.13版本才有的），默認值是k8s.gcr.io，我們將其指定為國內鏡像地址：registry.aliyuncs.com/google_containers

 

–kubernetes-version string：指定kubenets版本號，默認值是stable-1，會導致從https://dl.k8s.io/release/stable-1.txt下載最新的版本號，我們可以將其指定為固定版本（v1.15.1）來跳過網絡請求。

 

–apiserver-advertise-address 指明用 Master 的哪個 interface 與 Cluster 的其他節點通信。如果 Master 有多個 interface，建議明確指定，如果不指定，kubeadm 會自動選擇有默認網關的 interface。

 

 

–pod-network-cidr指定 Pod 網絡的范圍。Kubernetes 支持多種網絡方案，而且不同網絡方案對  –pod-network-cidr有自己的要求，這里設置為10.244.0.0/16 是因為我們將使用 flannel 網絡方案，必須設置成這個 CIDR。

 

補充flannel網絡介紹

Flannel是CoreOS團隊針對Kubernetes設計的一個網絡規划服務，簡單來說，它的功能是讓集群中的不同節點主機創建的Docker容器都具有全集群唯一的虛擬IP地址。

但在默認的Docker配置中，每個節點上的Docker服務會分別負責所在節點容器的IP分配。這樣導致的一個問題是，不同節點上容器可能獲得相同的內外IP地址。並使

這些容器之間能夠之間通過IP地址相互找到，也就是相互ping通。

 

Flannel的設計目的就是為集群中的所有節點重新規划IP地址的使用規則，從而使得不同節點上的容器能夠獲得”同屬一個內網”且”不重復的”IP地址，並讓屬於不同節

點上的容器能夠直接通過內網IP通信。

 

 

 

看到下面的輸出就表示你的集群創建成功了

 

 

[root@ken ~]# kubeadm init --image-repository registry.aliyuncs.com/google_containers --kubernetes-version v1.15.1 --apiserver-advertise-address 172.20.10.2 --pod-network-cidr=10.244.0.0/16
[init] Using Kubernetes version: v1.15.1

You can now join any number of machines by running the following on each node
as root:

  kubeadm join 172.20.10.2:6443 --token rn816q.zj0crlasganmrzsr --discovery-token-ca-cert-hash sha256:e339e4dbf6bd1323c13e794760fff3cbeb7a3f6f42b71d4cb3cffdde72179903

 

如果初始化失敗，請使用如下代碼清除后重新初始化

# kubeadm reset

# ifconfig cni0 down

# ip link delete cni0

# ifconfig flannel.1 down

# ip link delete flannel.1

# rm -rf /var/lib/cni/

# rm -rf /var/lib/etcd/*

 

docker初始化成功下載的鏡像

[root@ken ~]# docker image ls
REPOSITORY                                                        TAG                 IMAGE ID            CREATED             SIZE
registry.aliyuncs.com/google_containers/kube-proxy                v1.13.1             fdb321fd30a0        6 weeks ago         80.2MB
registry.aliyuncs.com/google_containers/kube-controller-manager   v1.13.1             26e6f1db2a52        6 weeks ago         146MB
registry.aliyuncs.com/google_containers/kube-apiserver            v1.13.1             40a63db91ef8        6 weeks ago         181MB
registry.aliyuncs.com/google_containers/kube-scheduler            v1.13.1             ab81d7360408        6 weeks ago         79.6MB
tomcat                                                            latest              48dd385504b1        7 weeks ago         475MB
memcached                                                         latest              8230c836a4b3        2 months ago        62.2MB
registry.aliyuncs.com/google_containers/coredns                   1.2.6               f59dcacceff4        2 months ago        40MB
busybox                                                           latest              59788edf1f3e        3 months ago        1.15MB
registry.aliyuncs.com/google_containers/etcd                      3.2.24              3cab8e1b9802        4 months ago        220MB
registry.aliyuncs.com/google_containers/pause                     3.1                 da86e6ba6ca1        13 months ago       742kB

 

第三步：配置kubectl

kubectl 是管理 Kubernetes Cluster 的命令行工具，前面我們已經在所有的節點安裝了 kubectl。Master 初始化完成后需要做一些配置工作，然后 kubectl 就能使用了。

[root@ken ~]#  mkdir -p $HOME/.kube
[root@ken ~]#  cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
[root@ken ~]# chown $(id -u):$(id -g) $HOME/.kube/config

 

為了使用更便捷，啟用 kubectl 命令的自動補全功能。

[root@ken ~]# echo "source <(kubectl completion bash)" >> ~/.bashrc

 

現在kubectl可以使用了

[root@ken ~]# kubectl get cs
NAME                 STATUS    MESSAGE              ERROR
scheduler            Healthy   ok                   
controller-manager   Healthy   ok                   
etcd-0               Healthy   {"health": "true"}

 

 

第四步：安裝pod網絡

要讓 Kubernetes Cluster 能夠工作，必須安裝 Pod 網絡，否則 Pod 之間無法通信。

Kubernetes 支持多種網絡方案，這里我們先使用 flannel

[root@ken ~]# kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

 

每個節點啟動kubelet

[root@ken ~]# systemctl restart kubelet

 

等鏡像下載完成以后，看到node的狀態是ready了

[root@ken ~]# kubectl get nodes
NAME   STATUS   ROLES    AGE   VERSION
ken    Ready    master   17m   v1.13.2

 

此時，就可以看到pod信息了

[root@ken ~]# kubectl get pods -n kube-system
NAME                          READY   STATUS    RESTARTS   AGE
coredns-78d4cf999f-dbxpc      1/1     Running   0          19m
coredns-78d4cf999f-q9vq2      1/1     Running   0          19m
etcd-ken                      1/1     Running   0          18m
kube-apiserver-ken            1/1     Running   0          18m
kube-controller-manager-ken   1/1     Running   0          18m
kube-flannel-ds-amd64-fd8mv   1/1     Running   0          3m26s
kube-proxy-gwmr2              1/1     Running   0          19m
kube-scheduler-ken            1/1     Running   0          18m

 

添加 k8s-node1 和 k8s-node2

 

第一步：環境准備

1.node節點關閉防火牆和selinux

2.禁用swap

3. 解析主機名

4.啟動內核功能

啟動kubeket

只需要設置為開機自啟動就可以了

[root@host1 ~]#  systemctl enable kubelet

 

第二步：添加nodes

這里的–token 來自前面kubeadm init輸出提示，如果當時沒有記錄下來可以通過kubeadm token list 查看。

kubeadm join 172.20.10.2:6443 --token rn816q.zj0crlasganmrzsr --discovery-token-ca-cert-hash sha256:e339e4dbf6bd1323c13e794760fff3cbeb7a3f6f42b71d4cb3cffdde72179903

 

輸出如下的信息

[root@host2 ~]# kubeadm join 172.20.10.2:6443 --token rn816q.zj0crlasganmrzsr --discovery-token-ca-cert-hash sha256:e339e4dbf6bd1323c13e794760fff3cbeb7a3f6f42b71d4cb3cffdde72179903
[preflight] Running pre-flight checks
    [WARNING SystemVerification]: this Docker version is not on the list of validated versions: 18.09.1. Latest validated version: 18.06
[discovery] Trying to connect to API Server "172.20.10.2:6443"
[discovery] Created cluster-info discovery client, requesting info from "https://172.20.10.2:6443"
[discovery] Requesting info from "https://172.20.10.2:6443" again to validate TLS against the pinned public key
[discovery] Cluster info signature and contents are valid and TLS certificate validates against pinned roots, will use API Server "172.20.10.2:6443"
[discovery] Successfully established connection with API Server "172.20.10.2:6443"
[join] Reading configuration from the cluster...
[join] FYI: You can look at this config file with 'kubectl -n kube-system get cm kubeadm-config -oyaml'
[kubelet] Downloading configuration for the kubelet from the "kubelet-config-1.13" ConfigMap in the kube-system namespace
[kubelet-start] Writing kubelet configuration to file "/var/lib/kubelet/config.yaml"
[kubelet-start] Writing kubelet environment file with flags to file "/var/lib/kubelet/kubeadm-flags.env"
[kubelet-start] Activating the kubelet service
[tlsbootstrap] Waiting for the kubelet to perform the TLS Bootstrap...
[patchnode] Uploading the CRI Socket information "/var/run/dockershim.sock" to the Node API object "host2" as an annotation

This node has joined the cluster:
* Certificate signing request was sent to apiserver and a response was received.
* The Kubelet was informed of the new secure connection details.

Run 'kubectl get nodes' on the master to see this node join the cluster.

 

第三步：查看nodes

根據上面最后一行的輸出信息提示查看nodes

[root@ken ~]# kubectl get nodes
NAME    STATUS     ROLES    AGE     VERSION
host1   NotReady   <none>   2m54s   v1.13.2
host2   NotReady   <none>   2m16s   v1.13.2
ken     Ready      master   38m     v1.13.2

這里其實需要等一會，這個node1節點才會變成Ready狀態，因為node節點需要下載四個鏡像flannel coredns kube-proxy pause

 

過了一會查看節點狀態

[root@ken ~]# kubectl get nodes
NAME    STATUS   ROLES    AGE     VERSION
host1   Ready    <none>   4m15s   v1.13.2
host2   Ready    <none>   3m37s   v1.13.2
ken     Ready    master   39m     v1.13.2

 

補充：移除NODE節點的方法

 

第一步：先將節點設置為維護模式(host1是節點名稱)

[root@ken ~]# kubectl drain host1 --delete-local-data --force --ignore-daemonsets
node/host1 cordoned
WARNING: Ignoring DaemonSet-managed pods: kube-flannel-ds-amd64-ssqcl, kube-proxy-7cnsr
node/host1 drained

 

第二步：然后刪除節點

[root@ken ~]# kubectl delete node host1
node "host1" deleted

 

第三步：查看節點

發現host1節點已經被刪除了

[root@ken ~]# kubectl get nodes
NAME    STATUS   ROLES    AGE   VERSION
host2   Ready    <none>   13m   v1.13.2
ken     Ready    master   49m   v1.13.2

 

如果這個時候再想添加進來這個node，需要執行兩步操作

第一步：停掉kubelet(需要添加進來的節點操作)

[root@host1 ~]# systemctl stop kubelet

 

第二步：刪除相關文件

[root@host1 ~]# rm -rf /etc/kubernetes/*

 

第三步：添加節點

[root@host1 ~]# kubeadm join 172.20.10.2:6443 --token rn816q.zj0crlasganmrzsr --discovery-token-ca-cert-hash sha256:e339e4dbf6bd1323c13e794760fff3cbeb7a3f6f42b71d4cb3cffdde72179903

 

第四步：查看節點

[root@ken ~]# kubectl get nodes
NAME    STATUS   ROLES    AGE   VERSION
host1   Ready    <none>   13s   v1.13.2
host2   Ready    <none>   17m   v1.13.2
ken     Ready    master   53m   v1.13.2

 

忘掉token再次添加進k8s集群

 

第一步：主節點執行命令

獲取token

[root@ken-master ~]# kubeadm token list
TOKEN                     TTL       EXPIRES                     USAGES                   DESCRIPTION                                                EXTRA GROUPS
ojxdod.fb7tqipat46yp8ti   10h       2019-05-06T04:55:42+08:00   authentication,signing   The default bootstrap token generated by 'kubeadm init'.   system:bootstrappers:kubeadm:default-node-token

 

第二步： 獲取ca證書sha256編碼hash值

[root@ken-master ~]# openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | openssl dgst -sha256 -hex | sed 's/^.* //'
2f8888cdb01191ff6dbca0edb02dbb21a14469028e4ff2598854a4544c5fa751

 

第三步：從節點執行如下的命令

[root@ken-node1 ~]# systemctl stop kubelet

 

第四步：刪除相關文件

[root@ken-node1 ~]# rm -rf /etc/kubernetes/*

 

第五步：加入集群

指定主節點IP，端口是6443

在生成的證書前有sha256:

[root@ken-node1 ~]# kubeadm join 192.168.64.10:6443 --token ojxdod.fb7tqipat46yp8ti  --discovery-token-ca-cert-hash sha256:2f8888cdb01191ff6dbca0edb02dbb21a14469028e4ff2598854a4544c5fa751

 

 

 

master節點上運行的服務
1.api-server
2.schedule
3.控制器管理器
4.etcd
5.pod網絡–fannel
 
node節點上運行的服務
 
1.kubelet 是k8s集群當中唯一一個不是以容器運行的客戶端
2.kube-proxy
3.pod
 
運行pod有兩種方式
 
1.通過kubectl命令行工具進行創建
2.通過yml文件
 
[root@zxw9 ~]# kubectl get cs
NAME STATUS MESSAGE ERROR
scheduler Healthy ok
controller-manager Healthy ok
etcd-0 Healthy {"health":"true"}
 
查看所有的namespace
[root@ken1 ~]# kubectl get ns
NAME STATUS AGE
default Active 64m
kube-node-lease Active 64m
kube-public Active 64m
kube-system Active 64m
 
查看某個namespace運行了那些pod
[root@ken1 ~]# kubectl get po -n kube-system
NAME READY STATUS RESTARTS AGE
coredns-bccdc95cf-ggx7z 1/1 Running 0 63m
coredns-bccdc95cf-xxgjp 1/1 Running 0 63m
etcd-ken1 1/1 Running 0 62m
kube-apiserver-ken1 1/1 Running 0 62m
kube-controller-manager-ken1 1/1 Running 0 62m
kube-flannel-ds-amd64-6qmv4 1/1 Running 0 16m
kube-flannel-ds-amd64-p8rkl 1/1 Running 0 38m
kube-flannel-ds-amd64-vnt8c 1/1 Running 0 35m
kube-proxy-4gqq7 1/1 Running 0 35m
kube-proxy-5n2f4 1/1 Running 0 63m
kube-proxy-fr262 1/1 Running 0 16m
kube-scheduler-ken1 1/1 Running 0 62m
 
查看更加完整信息
[root@ken1 ~]# kubectl get po -n kube-system -o wide
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
coredns-bccdc95cf-ggx7z 1/1 Running 0 67m 10.244.0.3 ken1 <none> <none>
coredns-bccdc95cf-xxgjp 1/1 Running 0 67m 10.244.0.2 ken1 <none> <none>
etcd-ken1 1/1 Running 0 66m 192.168.64.5 ken1 <none> <none>