文章拷自:http://blog.itpub.net/28916011/viewspace-2215383/ 加上自己遇到的問題簡單記錄
安裝文檔:https://docs.projectcalico.org/v3.1/getting-started/kubernetes/installation/flannel
我們知道flannel只能提供網絡通訊,而不能提供網絡策略。因此,我們本節學習canal,讓它來提供網絡策略,來配合flannel使用。
前提條件
1、kubelet必須配置為CNI網絡插件(即--network-plugin-cni,默認新版本默認就是CNI)
2、kube-proxy必須以iptables模式啟動,不能以ipvs方式啟動;
3、kube-proxy不能以--masquerade-all方式啟動,因為這和calico策略沖突;
4、k8s版本至少要v1.3.0
部署canal
1、
[root@master ~]# kubectl apply -f https://docs.projectcalico.org/v3.1/getting-started/kubernetes/installation/hosted/canal/rbac.yaml
2、
[root@master ~]# kubectl apply -f https://docs.projectcalico.org/v3.1/getting-started/kubernetes/installation/hosted/canal/canal.yaml
3、
[root@master ~]# kubectl get pods -n kube-system -o wide NAME READY STATUS RESTARTS AGE IP NODE canal-7q4k7 3/3 Running 0 4m 172.16.1.101 node1 canal-dk2tc 3/3 Running 0 4m 172.16.1.102 node2 canal-zr8l4 3/3 Running 0 4m 172.16.1.100 master
我這邊部署完成之后,發現flannel的directrouting模式又沒了。然后后面去pod內ping的時候發現跨node節點已經不通了。於是又把flannel刪了重建,最后正常了。很奇怪的現象。還有就是有個最后他媽的卡住了,canal一直不running狀態,node節點磁盤io跑滿了,導致該node上的pod都無法連接。最后重啟該node,就好了。
建立網絡策略:
[root@master ~]# mkdir networkpolicy [root@master ~]# cd networkpolicy/ [root@master networkpolicy]# vim ingress-def.yaml apiVersion: networking.k8s.io/v1 kind: NetworkPolicy metadata: name: deny-all-ingress spec: podSelector: {} #pod選擇器設置為空,表示選擇所有pod,即控制整個名稱空間 policyTypes: - Ingress #表示只對ingress生效,但是我們上面又把podSelector設置為空,表示默認是ingress拒絕所有的 #但是我們這里面又沒有加egress,所以默認egress是允許所有的
[root@master networkpolicy]# kubectl apply -f ingress-def.yaml -n dev #-n表示只對哪個名稱空間生效 networkpolicy.networking.k8s.io/deny-all-ingress created
[root@master networkpolicy]# kubectl get netpol -n dev NAME POD-SELECTOR AGE deny-all-ingress <none> 1m
建立個容器,放在dev名稱空間里面:
[root@master networkpolicy]# cat pod-a.yaml apiVersion: v1 kind: Pod metadata: name: pod1 spec: containers: - name: myapp image: ikubernetes/myapp:v1
[root@master networkpolicy]# kubectl apply -f pod-a.yaml -n dev pod/pod1 created
root@master networkpolicy]# kubectl get pods -n dev -o wide NAME READY STATUS RESTARTS AGE IP NODE pod1 1/1 Running 0 1m 10.244.2.2 node2
[root@master networkpolicy]# curl 10.244.2.2 #看到我們在宿主機上訪問不到dev名稱空間里面的pod10.244.2.2,這是因為dev名稱空間里面有個deny-all-ingress網絡策略,拒絕任何入站請求導致的。
接下來我們在prod名稱空間里面建立個pod:
[root@master networkpolicy]# kubectl apply -f pod-a.yaml -n prod pod/pod1 created
[root@master networkpolicy]# kubectl get pods -n prod -o wide NAME READY STATUS RESTARTS AGE IP NODE pod1 1/1 Running 0 1m 10.244.2.3 node2
[root@master networkpolicy]# curl 10.244.2.4 #我們看到在宿主機上可以訪問到prod名稱空間里面的pod Hello MyApp | Version: v1 | <a href="hostname.html">Pod Name</a>
[root@master networkpolicy]# cat ingress-def.yaml apiVersion: networking.k8s.io/v1 kind: NetworkPolicy metadata: name: deny-all-ingress spec: podSelector: {} #pod選擇器設置為空,表示選擇所有pod,即控制整個名稱空間 ingress: - {} #空表示允許所有入站訪問 policyTypes: - Ingress #表示只對ingress生效 #但是我們這里面又沒有加egress,所以默認egress是允許所有的
[root@master networkpolicy]# kubectl apply -f ingress-def.yaml -n dev networkpolicy.networking.k8s.io/deny-all-ingress configured
[root@master networkpolicy]# curl 10.244.2.2 #這時我們就能在宿主機上訪問到dev名稱空間里面的容器了 Hello MyApp | Version: v1 | <a href="hostname.html">Pod Name</a>
我們接下來再還原會原來的網絡策略,即拒絕入所有入站請求:
[root@master networkpolicy]# cat ingress-def.yaml apiVersion: networking.k8s.io/v1 kind: NetworkPolicy metadata: name: deny-all-ingress spec: podSelector: {} #pod選擇器設置為空,表示選擇所有pod,即控制整個名稱空間 policyTypes: - Ingress #表示只對ingress生效 #但是我們這里面又沒有加egress,所以默認egress是允許所有的
[root@master networkpolicy]# kubectl apply -f ingress-def.yaml -n dev networkpolicy.networking.k8s.io/deny-all-ingress unchanged
[root@master networkpolicy]# curl 10.244.2.2 #發現在宿主機上又不能訪問訪問到dev里面的pod了
下面我們給dev名稱空間里面的pod1打個標簽叫app=myapp
[root@master networkpolicy]# kubectl label pods pod1 app=myapp -n dev pod/pod1 labeled
[root@master networkpolicy]# cat allow-netpol-demo.yaml apiVersion: networking.k8s.io/v1 kind: NetworkPolicy metadata: name: allow-myapp-ingress spec: podSelector: matchLabels: app: myapp ingress: #入站 - from: - ipBlock: cidr: 10.244.0.0/16 #指定網段,允許從10.244.0.0/16入站到pod里面 except: - 10.244.1.2/32 #排除這個地址 ports: - protocol: TCP port: 80
[root@master networkpolicy]# kubectl apply -f allow-netpol-demo.yaml -n dev networkpolicy.networking.k8s.io/allow-myapp-ingress created
[root@master networkpolicy]# kubectl get netpol -n dev NAME POD-SELECTOR AGE allow-myapp-ingress app=myapp 1m deny-all-ingress <none> 5h
[root@master networkpolicy]# curl 10.244.2.2 #看到加了allow-myapp-ingress網絡策略后,立即就能訪問dev里面的pod了 Hello MyApp | Version: v1 | <a href="hostname.html">Pod Name</a>
上面我們介紹了ingress入站規則,下面我們介紹egress出站規則。
[root@master networkpolicy]# cat egress-def.yaml apiVersion: networking.k8s.io/v1 kind: NetworkPolicy metadata: name: deny-all-egress spec: podSelector: {} #pod選擇器設置為空,表示選擇所有pod,即控制整個名稱空間 policyTypes: - Egress #表示只對egress生效
[root@master networkpolicy]# kubectl apply -f egress-def.yaml -n prod networkpolicy.networking.k8s.io/deny-all-egress created
[root@master ~]# kubectl get pods -n kube-system -o wide NAME READY STATUS RESTARTS AGE IP NODE canal-7q4k7 3/3 Running 0 6h 172.16.1.101 node1 canal-dk2tc 3/3 Running 0 6h 172.16.1.102 node2 canal-zr8l4 3/3 Running 0 6h 172.16.1.100 master coredns-78fcdf6894-2l2cf 1/1 Running 18 24d 10.244.0.46 master coredns-78fcdf6894-dkkfq 1/1 Running 17 24d 10.244.0.45 master etcd-master 1/1 Running 18 24d 172.16.1.100 master kube-apiserver-master 1/1 Running 19 24d 172.16.1.100 master kube-controller-manager-master 1/1 Running 18 24d 172.16.1.100 master [root@master networkpolicy]# kubectl get pods -n prod NAME READY STATUS RESTARTS AGE pod1 1/1 Running 0 1h [root@master networkpolicy]# kubectl exec pod1 -it -n prod -- /bin/sh / # ping 10.244.0.45 #看到ping其他名稱空間的容器被拒絕,這就是因為網絡策略deny-all-egress起的作用,它表示拒絕容器所有出口流量 PING 10.244.0.45 (10.244.0.45): 56 data bytes
[root@master networkpolicy]# cat egress-def.yaml apiVersion: networking.k8s.io/v1 kind: NetworkPolicy metadata: name: deny-all-egress spec: podSelector: {} #pod選擇器設置為空,表示選擇所有pod,即控制整個名稱空間 egress: - {} #表示允許所有egress出去的流量 policyTypes: - Egress #表示只對egress生效
[root@master networkpolicy]# kubectl apply -f egress-def.yaml -n prod
[root@master networkpolicy]# kubectl exec pod1 -it -n prod -- /bin/sh #看到放行出站后,容器就可以ping通外部的容器了 / # ping 10.244.0.45 PING 10.244.0.45 (10.244.0.45): 56 data bytes 64 bytes from 10.244.0.45: seq=0 ttl=62 time=0.227 ms 64 bytes from 10.244.0.45: seq=1 ttl=62 time=0.284 ms
我們為了更安全,我們可以設置每個名稱空間拒絕所有入站,拒絕所有出站,然后再單獨放行。不過,這樣也出現一個問題,就是一個名稱空間中,所有pod之間也不能通信了。所以還要加條策略就是允許本名稱空間中的pod之間可以互相通信(放行所有出站目標本名稱空間內的所有pod),但是不允許和外部名稱空間之間進行通信。