k8s簡單環境的環境部署，需要用到4台機器：
master01 192.168.66.10
node01 192.168.66.20
node02 192.168.66.21
harbor 192.168.66.100 # 前一個文章已經介紹過如何安裝harbor了。
一、系統初始化
1.設置系統主機名以及 Host 文件的相互解析
hostnamectl set-hostname k8s-master01 hostnamectl set-hostname k8s-node01 hostnamectl set-hostname k8s-node02 hostnamectl set-hostname k8s-harbor
在/etc/hosts添加：
192.168.66.10 k8s-master01
192.168.66.20 k8s-node01
192.168.66.21 k8s-node02
192.168.66.100 k8s.harbor.com
2.安裝相關的依賴包
yum install -y conntrack ntpdate ntp ipvsadm ipset jq iptables curl sysstat libseccomp wget vim net-tools git
3.設置防火牆為 Iptables 並設置空規則
systemctl stop firewalld && systemctl disable firewalld yum -y install iptables-services && systemctl start iptables && systemctl enable iptables && iptables -F && service iptables save
4.關閉 SELINUX
swapoff -a && sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab setenforce 0 && sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config
5.調整內核參數
cat > kubernetes.conf <<EOF net.bridge.bridge-nf-call-iptables=1 net.bridge.bridge-nf-call-ip6tables=1 net.ipv4.ip_forward=1 net.ipv4.tcp_tw_recycle=0 vm.swappiness=0 # 禁止使用 swap 空間，只有當系統 OOM 時才允許使用它 vm.overcommit_memory=1 # 不檢查物理內存是否夠用 vm.panic_on_oom=0 # 開啟 OOM fs.inotify.max_user_instances=8192 fs.inotify.max_user_watches=1048576 fs.file-max=52706963 fs.nr_open=52706963 net.ipv6.conf.all.disable_ipv6=1 net.netfilter.nf_conntrack_max=2310720 EOF cp kubernetes.conf /etc/sysctl.d/kubernetes.conf sysctl -p /etc/sysctl.d/kubernetes.conf
6.調整系統時區
# 設置系統時區為 中國/上海 timedatectl set-timezone Asia/Shanghai # 將當前的 UTC 時間寫入硬件時鍾 timedatectl set-local-rtc 0 # 重啟依賴於系統時間的服務 systemctl restart rsyslog systemctl restart crond
7.關閉系統不需要服務
systemctl stop postfix && systemctl disable postfix
8.設置 rsyslogd 和 systemd journald
mkdir /var/log/journal # 持久化保存日志的目錄 mkdir /etc/systemd/journald.conf.d cat > /etc/systemd/journald.conf.d/99-prophet.conf <<EOF [Journal] # 持久化保存到磁盤 Storage=persistent # 壓縮歷史日志 Compress=yes SyncIntervalSec=5m RateLimitInterval=30s RateLimitBurst=1000 # 最大占用空間 10G SystemMaxUse=10G # 單日志文件最大 200M SystemMaxFileSize=200M # 日志保存時間 2 周 MaxRetentionSec=2week # 不將日志轉發到 syslog ForwardToSyslog=no EOF systemctl restart systemd-journald
9.升級系統內核為 4.44版本
CentOS 7.x 系統自帶的 3.10.x 內核存在一些 Bugs，導致運行的 Docker、Kubernetes 不穩定，例如： rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-3.el7.elrepo.noarch.rpm rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-3.el7.elrepo.noarch.rpm # 安裝完成后檢查 /boot/grub2/grub.cfg 中對應內核 menuentry 中是否包含 initrd16 配置，如果沒有，再安裝一次！
yum --enablerepo=elrepo-kernel install -y kernel-lt
# 設置開機從新內核啟動 cat /boot/grub2/grub.cfg|grep initrd16 # 通過這個命令查看具體更新的4.4.X的版本號，我更新后是4.4.227 grub2-set-default 'CentOS Linux (4.4.227-1.el7.elrepo.x86_64) 7 (Core)'
二、使用kubeadm部署安裝k8s服務
1.kube-proxy開啟ipvs的前置條件
modprobe br_netfilter cat > /etc/sysconfig/modules/ipvs.modules <<EOF #!/bin/bash modprobe -- ip_vs modprobe -- ip_vs_rr modprobe -- ip_vs_wrr modprobe -- ip_vs_sh modprobe -- nf_conntrack_ipv4 EOF chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack_ipv4
2.安裝新版本的Docker 軟件 # Docker version 19.03.11
yum install -y yum-utils device-mapper-persistent-data lvm2 yum-config-manager \ --add-repo \ http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo yum update -y && yum install -y docker-ce ## 創建 /etc/docker 目錄 mkdir /etc/docker # 配置 daemon. cat > /etc/docker/daemon.json <<EOF { "exec-opts": ["native.cgroupdriver=systemd"], "log-driver": "json-file", "log-opts": { "max-size": "100m" } } EOF mkdir -p /etc/systemd/system/docker.service.d # 重啟docker服務 systemctl daemon-reload && systemctl restart docker && systemctl enable docker
3.安裝好docker 重啟機器后查看內核版本還是3.10的 重新執行4.4內核命令然后重啟機器查看。
grub2-set-default 'CentOS Linux (4.4.189-1.el7.elrepo.x86_64) 7 (Core)' && reboot [root@k8s-harbor ~]# uname -r 4.4.227-1.el7.elrepo.x86_64
4.安裝 Kubeadm
cat <<EOF > /etc/yum.repos.d/kubernetes.repo [kubernetes] name=Kubernetes baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64 enabled=1 gpgcheck=0 repo_gpgcheck=0 gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg EOF yum -y install kubeadm-1.15.1 kubectl-1.15.1 kubelet-1.15.1 systemctl enable kubelet.service
6.導入下載好的鏡像包
[root@k8s-master01 ~]# ll kubeadm-basic.images total 868232 -rw------- 1 root root 208394752 Aug 5 2019 apiserver.tar -rw------- 1 root root 40542720 Aug 5 2019 coredns.tar -rw------- 1 root root 258365952 Aug 5 2019 etcd.tar -rw------- 1 root root 53746688 Jun 14 17:38 flannel.tar -rw------- 1 root root 160290304 Aug 5 2019 kubec-con-man.tar -rw------- 1 root root 754176 Aug 5 2019 pause.tar -rw------- 1 root root 84282368 Aug 5 2019 proxy.tar -rw------- 1 root root 82675200 Aug 5 2019 scheduler.tar 使用load命令導入。 docker load -i 鏡像包
7.初始化主節點
kubeadm config print init-defaults > kubeadm-config.yaml localAPIEndpoint: advertiseAddress: 192.168.66.10 # 修改master的ip kubernetesVersion: v1.15.1 networking: podSubnet: "10.244.0.0/16" # 添加網段 serviceSubnet: 10.96.0.0/12 # 再添加以下內容 --- apiVersion: kubeproxy.config.k8s.io/v1alpha1 kind: KubeProxyConfiguration featureGates: SupportIPVSProxyMode: true mode: ipvs kubeadm init --config=kubeadm-config.yaml --experimental-upload-certs | tee kubeadm-init.log
8.加入主節點以及其余工作節點
執行加入命令： kubeadm join 192.168.66.10:6443 --token abcdef.0123456789abcdef \ --discovery-token-ca-cert-hash sha256:ae6b17f2fd852ba477c29876fc207b867003c983125067defb908ba74965f35f
9.部署網絡
wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
kubectl create -f kube-flannel.yml # 第6步的時候已經提前導入鏡像quay.io/coreos/flannel。
[root@k8s-master01 flannel]# kubectl create -f kube-flannel.yml
podsecuritypolicy.policy/psp.flannel.unprivileged created
clusterrole.rbac.authorization.k8s.io/flannel created
clusterrolebinding.rbac.authorization.k8s.io/flannel created
serviceaccount/flannel created
configmap/kube-flannel-cfg created
daemonset.apps/kube-flannel-ds-amd64 created
daemonset.apps/kube-flannel-ds-arm64 created
daemonset.apps/kube-flannel-ds-arm created
daemonset.apps/kube-flannel-ds-ppc64le created
daemonset.apps/kube-flannel-ds-s390x created
[root@k8s-master01 flannel]# kubectl get pod -n kube-system
NAME READY STATUS RESTARTS AGE
coredns-5c98db65d4-9m6lp 0/1 Pending 0 9m5s
coredns-5c98db65d4-s4n76 0/1 Pending 0 9m5s
etcd-k8s-master01 1/1 Running 0 8m21s
kube-apiserver-k8s-master01 1/1 Running 0 8m8s
kube-controller-manager-k8s-master01 1/1 Running 0 8m
kube-flannel-ds-amd64-jwwrr 0/1 Init:0/1 0 65s
kube-proxy-bjfgx 1/1 Running 0 9m6s
kube-scheduler-k8s-master01 1/1 Running 0 8m19s
[root@k8s-master01 flannel]# kubectl get node
NAME STATUS ROLES AGE VERSION
k8s-master01 NotReady master 10m v1.15.1
[root@k8s-master01 ~]# kubectl get nodes
NAME STATUS ROLES AGE VERSION
k8s-master01 Ready master 18h v1.15.1
k8s-node01 Ready <none> 18h v1.15.1
k8s-node02 Ready <none> 18h v1.15.1
10.相關查看狀態命令
kubectl get nodes
kubectl get pod -n kube-system kubectl get pod -n kube-system -w kubectl get pod -n kube-system -o wide
11.遇到的問題
flannel pod狀態出現ImagePullBackOff的原因 是因為相關鏡像無法從網上pull 下來。 解決辦法 從有鏡像的機器上把鏡像導過去,然后重啟docker。 docker save -o flannel.tar quay.io/coreos/flannel:v0.12.0-amd64 docker load -i flannel.tar