本機環境規划及說明：
① k8s環境規划：
podSubnet（pod網段） 10.244.0.0/16
serviceSubnet（service網段）: 10.10.0.0/16
② 主機和ip規划 （雲主機）一台Master和一台node，后面資源不夠時再添加
操作系統：Centos7.6
配置： 4核8G、100G數據盤（Master 4C8G，node 2核4G，前期可以練習使用，后期可以再進行配置升級）
開啟虛擬機的虛擬化：
| 主機名 | IP | 角色 |
|---|---|---|
| k8s-master1 | 192.168.7.20 | Master1 |
| k8s-node1 | 192.168.7.22 | node1 |
| ... | ... | .... |
一、初始化實驗環境
1.1 配置靜態ip
1.2 修改yum源
1.2.1 備份原來的 yum 源
mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup
1.2.2 下載阿里的 yum 源
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
1.2.3 配置安裝 k8s 需要的 yum 源
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
EOF
1.2.4 清理 yum 緩存
yum clean all
1.2.5 生成新的 yum 緩存
yum makecache fast
1.2.6 更新 yum 源
yum -y update
1.2.7 安裝軟件包
yum -y install wget net-tools nfs-utils lrzsz gcc gcc-c++ make cmake libxml2-devel openssl-devel curl curl-devel unzip sudo ntp libaio-devel wget vim ncurses-devel autoconf automake zlib-devel python-devel epel-release openssh-server socat ipvsadm conntrack ntpdate yum-utils device-mapper-persistent-data lvm2
1.2.8 添加新的軟件源
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
1.2.9 清理 yum 緩存
yum clean all
1.2.10 生成新的 yum 緩存
yum makecache fast
1.3 配置防火牆
關閉 firewalld 防火牆，在 k8s 各個節點都要關閉，centos7 系統默認使用的是 firewalld 防火牆，停止
firewalld 防火牆，並禁用這個服務。
在 k8s 的各個節點操作如下命令。
systemctl stop firewalld && systemctl disable firewalld
1.4 時間同步chrony
- 在 k8s 的各個節點使用yum安裝chrony時間服務
yum install -y chrony - 編輯/etc/chrony.conf文件修改啊時間同步地址，可以百度搜索一個，也可以直接設置成ntp1.aliyum.com同步阿里的時間服務器地址
- 把chrony服務設置為開機自啟動並啟動服務
systemctl enable chronyd && systemctl start chronyd
1.5 關閉 selinux
k8s 的各個節點都要關閉 selinux。
關閉 selinux，設置永久關閉，這樣重啟機器 selinux 也處於關閉狀態可用下面方式修改：
sed -i 's/SELINUX=enforcing/SELINUX=disabled/' /etc/sysconfig/selinux
sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config
上面文件修改之后，需要重啟虛擬機，如果測試環境可以用如下命令強制重啟：
reboot -f
注：生產環境不要 reboot -f，要正常關機重啟
查看 selinux 是否修改成功
重啟之后登錄到機器上用如下命令：
getenforce
顯示 Disabled 說明 selinux 已經處於關閉狀態
1.6 關閉交換分區
在 k8s 的各個節點操作如下命令。
swapoff -a
臨時禁用
sed -i 's/.*swap.*/#&/' /etc/fstab
#永久禁用，打開/etc/fstab 注釋掉 swap 那一行。
1.7 修改內核參數
在 k8s 的各個節點操作如步驟。
cat <<EOF > /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
sysctl --system
注：sysctl --system 這個會加載所有的 sysctl 配置
此功能如果不開啟，后面在kubeadm初始化k8s時就會報錯：
就表示沒有開啟ip_forward，需要開啟。
為什么要開啟net.ipv4.ip_forward = 1參數？
net.ipv4.ip_forward是數據包轉發：
出於安全考慮，Linux系統默認是禁止數據包轉發的。所謂轉發即當主機擁有多於一塊的網卡時，其中一塊收到數據包，根據數據包的目的ip地址將數據包發往本機另一塊網卡，該網卡根據路由表繼續發送數據包。這通常是路由器所要實現的功能。
要讓Linux系統具有路由轉發功能，需要配置一個Linux的內核參數net.ipv4.ip_forward。這個參數指定了Linux系統當前對路由轉發功能的支持情況；其值為0時表示禁止進行IP轉發；如果是1,則說明IP轉發功能已經打開。
1.8 修改主機名
在 192.168.7.20 上：
hostnamectl set-hostname master1
在 192.168.1.79 上：
hostnamectl set-hostname node1
1.9 配置 hosts 文件
K8s 各個節點 hosts 文件保持一致即可，可按如下方法修改：
在/etc/hosts 文件增加如下幾行：
[root@k8s-master1 ~]# cat /etc/hosts
192.168.7.20 master1 k8s-master1
192.168.1.79 node1 k8s-node1
1.10 配置各個主機之間無密碼登陸
配置 master1 到 node1 無密碼登陸
在 master1 上操作
[root@k8s-master1 ~]# ssh-keygen #一直回車就可以
[root@k8s-master1 ~]# ssh-copy-id node1
#上面需要輸入 yes 之后，輸入密碼，輸入 node1 物理機密碼即可
8 安裝 docker
在 k8s 的各個節點都需要安裝docker，安裝方法按如下操作即可：
1.1 查看 docker 版本
yum list docker-ce --showduplicates |sort -r
1.2 安裝 docker
yum install -y docker-ce-19.03.7-3.el7
systemctl enable docker && systemctl start docker
#查看 docker 狀態，如果狀態是 active（running），說明 docker 是正常運行狀態
systemctl status docker
1.3 修改 docker 配置文件
cat > /etc/docker/daemon.json <<EOF
{
"registry-mirrors":["https://rsbud4vc.mirror.aliyuncs.com","https://registry.docker-cn.com","https://docker.mirrors.ustc.edu.cn","https://dockerhub.azk8s.cn","http://hub-mirror.c.163.com","http://qtid6917.mirror.aliyuncs.com"],
"exec-opts":["native.cgroupdriver=systemd"], "log-driver":"json-file",
"log-opts": {
"max-size": "100m"
},
"storage-driver":"overlay2",
"storage-opts": [ "overlay2.override_kernel_check=true"
]
}
EOF
注：
"registry-mirrors":["https://rsbud4vc.mirror.aliyuncs.com","https://registry.docker.cn.com","https://docker.mirrors.ustc.edu.cn","https://dockerhub.azk8s.cn","http://hub-mirror.c.163.com","http://qtid6917.mirror.aliyuncs.com"]
上面配置的是鏡像加速器
如果有harbor鏡像倉庫可以按如下方法加一個字段，指定鏡像倉庫地址
cat > /etc/docker/daemon.json <<EOF
{
"insecure-registries":["192.168.0.56"],
"registry-mirrors":["https://rsbud4vc.mirror.aliyuncs.com","https://registry.docker- cn.com","https://docker.mirrors.ustc.edu.cn","https://dockerhub.azk8s.cn","http://hub- mirror.c.163.com","http://qtid6917.mirror.aliyuncs.com"],
"exec-opts":["native.cgroupdriver=systemd"], "log-driver":"json-file",
"log-opts": {
"max-size": "100m"
},
"storage-driver":"overlay2", "storage-opts": [
"overlay2.override_kernel_check=true"
]
}
EOF
"insecure-registries":["192.168.0.56"] #配置的是 harbor 私有鏡像倉庫地址
1.4 重啟 docker 使配置生效
systemctl daemon-reload && systemctl restart docker && systemctl status docker
1.5 開啟機器的 bridge 模式
以下步驟在 k8s 各個節點都需要操作
#臨時生效
echo 1 > /proc/sys/net/bridge/bridge-nf-call-iptables echo 1 >/proc/sys/net/bridge/bridge-nf-call-ip6tables
#永久生效
echo """
vm.swappiness = 0
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
net.bridge.bridge-nf-call-ip6tables = 1
""" > /etc/sysctl.conf
sysctl -p
1.6 開啟 ipvs
不開啟 ipvs 將會使用 iptables，但是效率低，所以官網推薦需要開通 ipvs 內核，
在 k8s 的各個節點都需要開啟
cat > /etc/sysconfig/modules/ipvs.modules <<EOF
#!/bin/bash
ipvs_modules="ip_vs ip_vs_lc ip_vs_wlc ip_vs_rr ip_vs_wrr ip_vs_lblc ip_vs_lblcr ip_vs_dh ip_vs_sh ip_vs_nq ip_vs_sed ip_vs_ftp nf_conntrack"
for kernel_module in \${ipvs_modules};
do
/sbin/modinfo -F filename \${kernel_module} > /dev/null 2>&1
if [ $? -eq 0 ]; then
/sbin/modprobe \${kernel_module}
fi
done
EOF
chmod 755 /etc/sysconfig/modules/ipvs.modules && \
bash /etc/sysconfig/modules/ipvs.modules && \
lsmod | grep ip_vs
顯示如下，說明 ipvs 開啟成功了：
二、安裝 kubernetes 高可用集群
2.1 安裝kubeadm和kubelet
在 master1 和 node1 上安裝 kubeadm 和 kubelet
yum install kubeadm-1.19.6 kubelet-1.19.6 kubectl-1.19.6 -y
systemctl enable kubelet
2.2 K8s集群初始化
在 k8s 的 master1 節點操作
kubeadm init --kubernetes-version=v1.19.6 \
--pod-network-cidr=10.244.0.0/16 \
--apiserver-advertise-address=192.168.7.20 \
--image-repository registry.aliyuncs.com/google_containers
注：
1）
--image-repository registry.aliyuncs.com/google_containers 是指定阿里雲的鏡像源，國內的鏡像源訪問速度會比較快，
--kubernetes-version=v1.19.6 是指定 k8s 版本，基於這個我們可以安裝任何版本的 k8s。
2）
如果大家機器訪問網絡比較慢，可以在執行 kubeadm init --kubernetes-version=v1.19.6 --pod- network-cidr=10.244.0.0/16 --apiserver-advertise-address=192.168.40.130 --image-repository registry.aliyuncs.com/google_containers
這串命令之前把 aliyun-kubernetes-master-1-19-6.tar.gz 上傳到 k8s 的 master1 節點，
通過 docker load -i aliyun-kubernetes-master-1-19-6.tar.gz手動解壓，把 aliyun-kubernetes-slave-1-19-6.tar.gz 上傳到 k8s 的 node1 節點，
通過 docker load -i aliyun-kubernetes-slave-1-19-6.tar.gz 手動解壓。
初始化命令執行成功之后顯示如下內容，說明初始化成功了
[root@k8s-master1 ~]# kubeadm init --kubernetes-version=v1.19.6 \
> --pod-network-cidr=10.244.0.0/16 \
> --apiserver-advertise-address=192.168.7.20 \
> --image-repository registry.aliyuncs.com/google_containers
W1004 19:43:52.926987 19798 configset.go:348] WARNING: kubeadm cannot validate component configs for API groups [kubelet.config.k8s.io kubeproxy.config.k8s.io]
[init] Using Kubernetes version: v1.19.6
[preflight] Running pre-flight checks
[preflight] Pulling images required for setting up a Kubernetes cluster
[preflight] This might take a minute or two, depending on the speed of your internet connection
[preflight] You can also perform this action in beforehand using 'kubeadm config images pull'
[certs] Using certificateDir folder "/etc/kubernetes/pki"
[certs] Generating "ca" certificate and key
[certs] Generating "apiserver" certificate and key
[certs] apiserver serving cert is signed for DNS names [k8s-master1 kubernetes kubernetes.default kubernetes.default.svc kubernetes.default.svc.cluster.local] and IPs [10.96.0.1 192.168.7.20]
[certs] Generating "apiserver-kubelet-client" certificate and key
[certs] Generating "front-proxy-ca" certificate and key
[certs] Generating "front-proxy-client" certificate and key
[certs] Generating "etcd/ca" certificate and key
[certs] Generating "etcd/server" certificate and key
[certs] etcd/server serving cert is signed for DNS names [k8s-master1 localhost] and IPs [192.168.7.20 127.0.0.1 ::1]
[certs] Generating "etcd/peer" certificate and key
[certs] etcd/peer serving cert is signed for DNS names [k8s-master1 localhost] and IPs [192.168.7.20 127.0.0.1 ::1]
[certs] Generating "etcd/healthcheck-client" certificate and key
[certs] Generating "apiserver-etcd-client" certificate and key
[certs] Generating "sa" key and public key
[kubeconfig] Using kubeconfig folder "/etc/kubernetes"
[kubeconfig] Writing "admin.conf" kubeconfig file
[kubeconfig] Writing "kubelet.conf" kubeconfig file
[kubeconfig] Writing "controller-manager.conf" kubeconfig file
[kubeconfig] Writing "scheduler.conf" kubeconfig file
[kubelet-start] Writing kubelet environment file with flags to file "/var/lib/kubelet/kubeadm-flags.env"
[kubelet-start] Writing kubelet configuration to file "/var/lib/kubelet/config.yaml"
[kubelet-start] Starting the kubelet
[control-plane] Using manifest folder "/etc/kubernetes/manifests"
[control-plane] Creating static Pod manifest for "kube-apiserver"
[control-plane] Creating static Pod manifest for "kube-controller-manager"
[control-plane] Creating static Pod manifest for "kube-scheduler"
[etcd] Creating static Pod manifest for local etcd in "/etc/kubernetes/manifests"
[wait-control-plane] Waiting for the kubelet to boot up the control plane as static Pods from directory "/etc/kubernetes/manifests". This can take up to 4m0s
[apiclient] All control plane components are healthy after 15.006157 seconds
[upload-config] Storing the configuration used in ConfigMap "kubeadm-config" in the "kube-system" Namespace
[kubelet] Creating a ConfigMap "kubelet-config-1.19" in namespace kube-system with the configuration for the kubelets in the cluster
[upload-certs] Skipping phase. Please see --upload-certs
[mark-control-plane] Marking the node k8s-master1 as control-plane by adding the label "node-role.kubernetes.io/master=''"
[mark-control-plane] Marking the node k8s-master1 as control-plane by adding the taints [node-role.kubernetes.io/master:NoSchedule]
[bootstrap-token] Using token: v4c3ev.fqcv8q4edaum7d9k
[bootstrap-token] Configuring bootstrap tokens, cluster-info ConfigMap, RBAC Roles
[bootstrap-token] configured RBAC rules to allow Node Bootstrap tokens to get nodes
[bootstrap-token] configured RBAC rules to allow Node Bootstrap tokens to post CSRs in order for nodes to get long term certificate credentials
[bootstrap-token] configured RBAC rules to allow the csrapprover controller automatically approve CSRs from a Node Bootstrap Token
[bootstrap-token] configured RBAC rules to allow certificate rotation for all node client certificates in the cluster
[bootstrap-token] Creating the "cluster-info" ConfigMap in the "kube-public" namespace
[kubelet-finalize] Updating "/etc/kubernetes/kubelet.conf" to point to a rotatable kubelet client certificate and key
[addons] Applied essential addon: CoreDNS
[addons] Applied essential addon: kube-proxy
Your Kubernetes control-plane has initialized successfully!
To start using your cluster, you need to run the following as a regular user:
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
https://kubernetes.io/docs/concepts/cluster-administration/addons/
Then you can join any number of worker nodes by running the following on each as root:
kubeadm join 192.168.7.20:6443 --token v4c3ev.fqcv8q4edaum7d9k \
--discovery-token-ca-cert-hash sha256:c2e3e736cf7855c11fd0c1e218805fd4c5fca63ff0294cc11333ae83621144c6
注：kubeadm join ... 這條命令需要記住，我們把 k8s 的 node1 節點加入到集群需要在這些節點節點輸入這條命令，每次執行這個結果都是不一樣的，記住自己執行的結果，在下面會用到
2.3 在 master1 節點授權，這樣才能有權限操作 k8s 資源
mkdir -p $HOME/.kube
sudo cp -ifr /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
注： 我們下面執行 kubectl 的命令都是在 k8s 的 master1 節點操作
在 master1 節點執行
kubectl get nodes
顯示如下，master1 節點是 NotReady
NAME STATUS ROLES AGE VERSION
master1 NotReady master 103s v1.19.6
kubectl get pods -n kube-system
顯示如下，可看到 cordns 是處於 pending 狀態
NAME READY STATUS RESTARTS AGE
coredns-6d56c8448f-ccb8n 0/1 Pending 0 100s coredns-6d56c8448f-dpklb 0/1 Pending 0 100s
注意：上面可以看到 STATUS 狀態是 NotReady，cordns 是 pending，是因為沒有安裝網絡插件，需要安裝 calico 或者 flannel，接下來我們安裝 calico，在 master1 節點安裝calico 網絡插件：
2.4 安裝 calico 網絡插件
需要的鏡像是 quay.io/calico/cni:v3.5.3 和 quay.io/calico/node:v3.5.3手動上傳上面兩個鏡像的壓縮包到 master1 和 node1 節點，在master1 和 node1 上通過 docker load -i 解壓
docker load -i cni.tar.gz
docker load -i calico-node.tar.gz
注意：calico.yaml 里需要修改如下內容：
找到 IP_AUTODETECTION_METHOD 對應的 value 值：
- name: IP_AUTODETECTION_METHOD
value: "can-reach=192.168.7.20"
這個 ip 寫你自己環境的 node1 節點的 ip，假如 node 節點有多個，那么只寫一個 node 節點 ip 即可，所以大家只需要寫 node1 的 ip 即可
應用yaml 文件：
kubectl apply -f calico.yaml
2.6 查看 node 節點和coredns的pod 狀態，在 master1 節點執行
kubectl get nodes
顯示如下，看到 STATUS 是 Ready
NAME STATUS ROLES AGE VERSION
master1 Ready master 8m19s v1.19.6
kubectl get pods -n kube-system
看到 cordns 也是 running 狀態，說明 master1 節點的calico 安裝完成
2.7 擴容添加node節點
把 node1 節點加入到 k8s 集群，在 node1 節點操作
注：下面的這個是把 node1 節點加入到 k8s 的一串命令，下面的這串命令就是初始化的時候生成的，每個人的都不一樣
kubeadm join 192.168.7.20:6443 --token njtz23.0rq9a629zab3rsf9 \
--discovery-token-ca-cert-hash sha256:f59119cf40b5470120d98a69506164328b5cfbc9bc973d71e9b187b58210a830
上面命令執行之后，出現如下圖所示，說明 node1 節點已經加入到 k8s 集群：
在 master1 節點查看集群節點狀態
kubectl get nodes
顯示如下：
看到上面 STATUS 狀態是 Ready，說明 node1 節點也加入到 k8s 集群了，通過以上就完成了 k8s 單master 節點高可用集群的搭建
kubectl get cs
顯示如下:
看到 cotroller-manager 和 scheduler 是 Unhealthy，按如下方面解決：
vim /etc/kubernetes/manifests/kube-scheduler.yaml
修改如下內容：
把 --bind-address=127.0.0.1
變成 --bind-address=192.168.7.20 #注意：192.168.7.20 是 k8s 的 master1 節點 ip
把 httpGet:字段下的 host 25和39行
由 127.0.0.1
變成 192.168.7.20
把—-port=0 注釋
編輯controller-manager的yaml文件
vim /etc/kubernetes/manifests/kube-controller-manager.yaml
把 --bind-address=127.0.0.1
變成 --bind-address=192.168.7.20
把—-port=0 注釋
把 httpGet:字段下的 hosts
由 127.0.0.1
變成 192.168.7.20
修改之后在 k8s 各個節點執行
systemctl restart kubelet
kubectl get cs
顯示如下:
```bash
[root@k8s-master1 kubenetes-han]# kubectl get cs
Warning: v1 ComponentStatus is deprecated in v1.19+
NAME STATUS MESSAGE ERROR
scheduler Healthy ok
controller-manager Healthy ok
etcd-0 Healthy {"health":"true"}
可以查看一下端口是否監聽了
ss -antulp | grep :10251
ss -antulp | grep :10252
可以看到相應的端口已經被物理機監聽了
集群初始化完成，下面先測試一下
三、測試集群功能是否正常
Pod網絡測試和代理測試
pod介紹下一篇文章會介紹，此處只是運行測試一下
3.1、運行busybox
使用docker run運行一個容器鏡像，進去使用ping測試一下網絡是否有問題。
docker run --rm -it busybox:1.28 sh
可以ping通外網則說明網絡插件功能正常
3.2、測試一下kubelet是否正常代理
運行一個tomcat容器，編輯一個yaml文件(yaml語法要求嚴格，錯一個空格都會報錯，仔細)
vim tomcat.yaml
apiVersion: v1
kind: Pod
metadata:
name: demo-pod
namespace: default
labels:
app: myapp
env: dev
spec:
containers:
- name: tomcat-pod-java
ports:
- containerPort: 8080
image: tomcat:8.5-jre8-alpine
imagePullPolicy: IfNotPresent
使用kubectl應用，使用自定義的yaml文件創建容器
[root@k8s-master1 kubenetes-han]# kubectl apply -f tomcat.yaml
pod/demo-pod created
[root@k8s-master1 kubenetes-han]# kubectl get pod
NAME READY STATUS RESTARTS AGE
demo-pod 1/1 Running 0 23s
再編輯一個用於創建tomcat的svc的yaml文件
```yaml
apiVersion: v1
kind: Service
metadata:
name: tomcat
spec:
type: NodePort
ports:
- port: 8080
nodePort: 30080
selector:
app: myapp
env: dev
應用該yaml文件創建svc，然后使用get svc獲取
[root@k8s-master1 kubenetes-han]# kubectl apply -f tomcat-service.yaml
service/tomcat created
[root@k8s-master1 kubenetes-han]# kubectl get svc
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
kubernetes ClusterIP 10.96.0.1 <none> 443/TCP 5h56m
tomcat NodePort 10.99.224.78 <none> 8080:30080/TCP 20s
# 訪問node節點的ip+30080（映射的端口）
[root@k8s-master1 kubenetes-han]# curl 192.168.1.79:30080
3.3、測試集群的dns是否可以正常工作
kubectl run busybox --image busybox:1.28 --restart=Never --rm -it busybox -- sh
nslookup kubernetes.default.svc.cluster.local
能正常解析則說明集群狀態正常!
四、安裝Dashboard可視化界面
4.1 安裝dashboard和組件
從本地上傳dashboard鏡像和yaml文件
把安裝kubernetes-dashboard需要的鏡像上傳到工作節點node1上，手動導入，yaml放到master上
在k8s-master1節點操作如下命令:
[root@k8s-master1 kubenetes-han]# kubectl apply -f kubernetes-dashboard.yaml
4.2 查看dashboard的狀態
[root@xianchaomaster1 ~]# kubectl get pods -n kubernetes-dashboard
顯示如下，說明dashboard安裝成功了
[root@k8s-master1 kubenetes-han]# kubectl get pods -n kubernetes-dashboard
NAME READY STATUS RESTARTS AGE
dashboard-metrics-scraper-7445d59dfd-hwx59 1/1 Running 0 15s
kubernetes-dashboard-54f5b6dc4b-6mfxl 1/1 Running 0 15s
[root@k8s-master1 kubenetes-han]# kubectl get svc -n kubernetes-dashboard
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
dashboard-metrics-scraper ClusterIP 10.109.63.228 <none> 8000/TCP 30s
kubernetes-dashboard ClusterIP 10.101.169.211 <none> 443/TCP 30s
// 修改service type類型變成NodePort（后面的文章中會講到）
[root@k8s-master1 kubenetes-han]# kubectl edit svc kubernetes-dashboard -n kubernetes-dashboard
再次查看，類型就被改為了NodePort
上面可看到service類型是NodePort，訪問任何一個工作節點ip: 31248端口即可訪問kubernetes dashboard，在瀏覽器(使用火狐瀏覽器)訪問如下地址:
使用其他瀏覽器可能會被攔截打不開頁面，訪問https://node節點的ip:31248，會有安全風險提示，點擊接受繼續訪問即可看到可看到出現了dashboard界面
4.3 通過token令牌訪問dashboard
通過Token登陸dashboard
創建管理員token，具有查看任何空間的權限，可以管理所有資源對象
[root@k8s-master1 kubenetes-han]# kubectl create clusterrolebinding dashboard-cluster-admin --clusterrole=cluster-admin --serviceaccount=kubernetes-dashboard:kubernetes-dashboard
clusterrolebinding.rbac.authorization.k8s.io/dashboard-cluster-admin created
使用get查看一下
[root@k8s-master1 kubenetes-han]# kubectl get secret -n kubernetes-dashboard
NAME TYPE DATA AGE
default-token-z7bkm kubernetes.io/service-account-token 3 23m
kubernetes-dashboard-certs Opaque 0 23m
kubernetes-dashboard-csrf Opaque 1 23m
kubernetes-dashboard-key-holder Opaque 2 23m
kubernetes-dashboard-token-2qqmr kubernetes.io/service-account-token 3 23m
找到對應的帶有token的pod的name，使用以下命令查看
[root@k8s-master1 kubenetes-han]# kubectl describe secret kubernetes-dashboard-token-2qqmr -n kubernetes-dashboard
...
...
token: eyJhbGciOiJSUzI1NiIsImtpZCI6IjZBVVFxN01QSUF2a25BbDNOTEZGYTZyNWttVUppSGRyckh4blA5azd5ZU0ifQ.eyJpc3MiOiJrdWJlcm5ldGVzL3NlcnZpY2VhY2NvdW50Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9uYW1lc3BhY2UiOiJrdWJlcm5ldGVzLWRhc2hib2FyZCIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VjcmV0Lm5hbWUiOiJrdWJlcm5ldGVzLWRhc2hib2FyZC10b2tlbi0ycXFtciIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VydmljZS1hY2NvdW50Lm5hbWUiOiJrdWJlcm5ldGVzLWRhc2hib2FyZCIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VydmljZS1hY2NvdW50LnVpZCI6IjEwYTI3N2M1LTY0MjYtNDBhNi1iNjgzLWEyYWY3MDhiMzIyMCIsInN1YiI6InN5c3RlbTpzZXJ2aWNlYWNjb3VudDprdWJlcm5ldGVzLWRhc2hib2FyZDprdWJlcm5ldGVzLWRhc2hib2FyZCJ9.ikMgpHASp0bJ8diqK8RsoQN41Ip-UHXQHCCkN0Dvam5uWPk1y9vxGYs2Sv5HWvLl6xanZ5TyTw0y3pF-zdZoaF5ivu1KOJsdjTd5g0DQr7l5jvtGSBGNNBJSxAtUP0IyO-hTFzxIH4ePoLO_TY2j_QNMdNdBpMlRlUR917kykQaY-N_C9KhfPRuaoqz3qBpOSxQyXaXCNPfU_uweE0kmyQjr-wNIX6ZZmQpZVmt7-CNVRnFswQFTVPZBmChU5caaISVd4x6us1N2LD3AH4qk9VvrWxA7TEfoYedfCQNzzgeXGnjtEh19h11ZtCWIse_lHhTqCC04P06Fn3YtOvOQXg
記住token后面的值，把下面的token值復制到瀏覽器token登陸處即可登陸：
登入后界面如下，這次就可以看到和操作任何名稱空間的資源了
五、通過Dashboard界面創建pod
5.1 上傳測試用的nginx鏡像
把鏡像上傳到node節點
docker load -i nginx.tar.gz
5.2 通過Dashboard創建兩個nginx的pod
點擊頁面有上角的 + 號，選擇第三項通過表單創建，如果已有yaml文件可以選擇第二個通過yaml文件創建
定義app的名稱，使用的容器鏡像，創建多少個pod，service的類型，映射的端口，此處可以先照做！ 后面文章中會介紹相應的內容
點擊Deploy后就可以看到界面顯示如下，兩個nginx的pod正在創建，如果node節點沒有鏡像就會先通過公網下載nginx的鏡像再去create
創建好了顏色會變成綠色，兩個pod正在運行
在下面有一個Service可以看見nginx容器映射的端口是30285
此時可以通過瀏覽器訪問node節點ip+30285訪問到nginx的web頁面
六、安裝metrics-server組件
metrics-server是一個集群范圍內的資源數據集和工具，同樣的，metrics-server也只是顯示數據，並不提供數據存儲服務，主要關注的是資源度量API的實現，比如CPU、文件描述符、內存、請求延時等指標，metric-server收集數據給k8s集群內使用，如kubectl,hpa,scheduler等
6.1 部署metrics-server組件
把離線鏡像壓縮包上傳到k8s的各個節點，按如下方法手動解壓：
docker load -i metrics-server-amd64-0-3-6.tar.gz
docker load -i addon.tar.gz
6.2 部署metrics-server服務
在/etc/kubernetes/manifests里面改一下apiserver的配置
注意：這個是k8s在1.17的新特性，如果是1.16版本的可以不用添加，1.17以后要添加。這個參數的作用是Aggregation允許在不修改Kubernetes核心代碼的同時擴展Kubernetes API。
[root@xianchaomaster1~]# vim /etc/kubernetes/manifests/kube-apiserver.yaml
增加如下內容：
- --enable-aggregator-routing=true
讀取此文件內容並應用
[root@k8s-master1 kubenetes-han]# kubectl apply -f /etc/kubernetes/manifests/kube-apiserver.yaml
pod/kube-apiserver created
# 查看一下，此處有一個pod失敗了，不用管（這個是因為剛才修改了文件內容導致啟動參數變了所以失敗），真正提供服務的是下面kube-apiserver-k8s-master1的應用，此處是新環境可以這么操作修改，生產環境不要這么搞，除非已經做了高可用
[root@k8s-master1 kubenetes-han]# kubectl get pods -n kube-system
NAME READY STATUS RESTARTS AGE
calico-node-h4lbp 1/1 Running 1 2d5h
calico-node-k8gks 1/1 Running 0 2d5h
coredns-6d56c8448f-rcmb5 1/1 Running 1 2d6h
coredns-6d56c8448f-zdt7x 1/1 Running 1 2d6h
etcd-k8s-master1 1/1 Running 1 2d6h
kube-apiserver 0/1 CrashLoopBackOff 3 90s
kube-apiserver-k8s-master1 1/1 Running 0 90s
kube-controller-manager-k8s-master1 1/1 Running 3 2d5h
kube-proxy-95jw2 1/1 Running 1 2d6h
kube-proxy-sk2bk 1/1 Running 0 2d5h
kube-scheduler-k8s-master1 1/1 Running 2 2d5h
執行以下命令刪除這個失敗的pod
kubectl delete pods kube-apiserver -n kube-system
pod "kube-apiserver" deleted
再次查看失敗的pod就被刪掉了
通過yaml文件創建metrics-server服務，使用apply -f 應用，會創建這個服務所需要依賴的一些服務對象和資源
[root@k8s-master1 kubenetes-han]# kubectl apply -f metrics.yaml
clusterrolebinding.rbac.authorization.k8s.io/metrics-server:system:auth-delegator created
rolebinding.rbac.authorization.k8s.io/metrics-server-auth-reader created
serviceaccount/metrics-server created
clusterrole.rbac.authorization.k8s.io/system:metrics-server created
clusterrolebinding.rbac.authorization.k8s.io/system:metrics-server created
configmap/metrics-server-config created
deployment.apps/metrics-server created
service/metrics-server created
apiservice.apiregistration.k8s.io/v1beta1.metrics.k8s.io created
[root@k8s-master1 kubenetes-han]# kubectl get pods -n kube-system | grep metrics
metrics-server-6595f875d6-q4dr9 2/2 Running 0 3s
七、測試kubectl top命令
7.1 獲取各個pod和節點占用的cpu和內存大小
[root@k8s-master1 kubenetes-han]# kubectl top pods -n kube-system
NAME CPU(cores) MEMORY(bytes)
calico-node-h4lbp 19m 47Mi
calico-node-k8gks 12m 42Mi
coredns-6d56c8448f-rcmb5 3m 15Mi
coredns-6d56c8448f-zdt7x 3m 16Mi
etcd-k8s-master1 16m 323Mi
kube-apiserver-k8s-master1 39m 321Mi
kube-controller-manager-k8s-master1 19m 49Mi
kube-proxy-95jw2 1m 18Mi
kube-proxy-sk2bk 1m 28Mi
kube-scheduler-k8s-master1 4m 23Mi
metrics-server-6595f875d6-q4dr9 1m 16Mi
## 獲取各個節點的資源使用情況
[root@k8s-master1 kubenetes-han]# kubectl top nodes
NAME CPU(cores) CPU% MEMORY(bytes) MEMORY%
k8s-master1 165m 4% 3938Mi 51%
k8s-node1 45m 2% 1891Mi 51%