Calico在Kubernetes中的搭建

一，需求

Kubernetes官方推薦的是Flannel，但是Flannel是一個overlay的網絡，對性能會有一定的影響。Calico恰好能解決一下overlay網絡的不足。

Calico在Kubernetes上是以plugin的方式運行的，即calico會檢測Kubernetes對於pod或者service的操作，來控制ip的分配和回收。

 

二，准備

主要參考：

https://github.com/kubernetes/kubernetes/blob/master/docs/getting-started-guides/fedora/fedora-calico.md

http://www.cnblogs.com/openxxs/p/4976948.html

 

1，三台主機：centos

    10.11.151.97 Kubernetes Master

    10.11.151.100 node1

    10.11.151.101 node2

     在/etc/hosts中添加這三台主機：

     10.11.151.97 tc-151-97

2，Master:

     kube-apiserver

     kube-controller-manager

     kube-scheduler

     etcd

     docker

     calico-node image

 

    Nodes:

      kube-proxy

      kubelet

      docker

      calico-node image

      etcd

      iperf image

      calicoctl （https://github.com/projectcalico/calico-docker/releases）目前最新版本0.12.0

      calico-Kubernetes plugin（ https://github.com/projectcalico/calico-kubernetes/releases/tag/v0.6.0）目前最新版本0.6.0

 

三，建立Etcd Cluster

三台主機建立一個Etcd cluster。在97上運行的腳本為：

#!/bin/sh
export localip=10.11.151.97
export name=bjcnctest0
export port1=2380
export port2=2379
export port3=4002
 
sudo ./etcd \
-name $name \
-initial-advertise-peer-urls http://$localip:$port1 \
-listen-peer-urls http://0.0.0.0:$port1 \
-listen-client-urls http://0.0.0.0:$port2,http://0.0.0.0:$port3 \
-advertise-client-urls http://$localip:$port2,http://$localip:$port3\
-initial-cluster-token etcd-cluster \
-initial-cluster bjcnctest0=http://$localip:$port1,bjcnctest1=http://10.11.151.100:$port1,bjcnctest2=http://10.11.151.101:$port1 \
-initial-cluster-state new &

三台主機上分別運行etcd，組建好cluster，正確組建后，每個主機應該看到published name

 

四，設置Master

運行kube-apiserver:

./kube-apiserver --logtostderr=true --v=0 --etcd_servers=http://127.0.0.1:2379 --kubelet_port=10250 --allow_privileged=false --service-cluster-ip-range=172.16.0.0/12 --insecure-bind-address=0.0.0.0 --insecure-port=8080 2>&1 >apiserver.out &

kube-controller-manager:

./kube-controller-manager --logtostderr=true --v=0 --master=http://tc-151-97:8080 --cloud-provider="" 2>&1 >controller.out &

kube-scheduler:

./kube-scheduler --logtostderr=true --v=0 --master=http://tc-151-97:8080 2>&1 > scheduler.out &

在Master上運行Calico服務：

./calicoctl node --ip=10.11.151.97

用docker ps可以看到Calico node的container

Master上的運行比較簡單。

 

五，Nodes

Kubernetes在使用Calico的試試可以有兩種IP的分配方式，第一種是使用docker網橋ip地址段進行分配，另外一種是用Calico IPAM來進行分配。

下面以第一種進行描述：

在10.11.151.100上的操作為

1，新建一個網橋cbr0：

vi /etc/sysconfig/network-scripts/ifcfg-cbr0
-----------------------
DEVICE=cbr0
TYPE=Bridge
IPADDR=172.1.0.0
NETMASK=255.255.255.0
ONBOOT=yes
BOOTPROTO=static

這里給出一個ip地址段172.1.0.0/24，每個主機上可以使用256個IP。

如果當前主機上已經運行了docker，先停止：systemctl stop docker

重新啟動docker的時候將docker使用自己新建的網橋：

vi /usr/lib/systemd/system/docker.service

在/usr/bin/docker daemon的啟動參數中添加“--bridge=cbr0 --iptables=false --ip-masq=false”

盡量不要影響原本的docker配置。重新開啟docker：systemctl start docker

用ifconfig可以看到一個cbr0的網絡。

在101主機上換個一個IP段，比如172.1.1.0。

2，運行Calico服務

./calicoctl node --ip=10.11.151.100

3，將calico-kubernetes插件放到kubernetes使用插件的位置，重命名：

mv calico-kubernetes /usr/libexec/kubernetes/kubelet-plugins/net/exec/calico/calico
chmod +x /usr/libexec/kubernetes/kubelet-plugins/net/exec/calico/calico

4，安裝Kubernetes

運行kube-proxy:

KUBE_API_ROOT=http://10.11.151.97:8080/api/v1/ ./kube-proxy --logtostderr=true --v=0 --master=http://tc-151-97:8080 --proxy-mode=iptables &

這里KUBE_API_ROOT變量會傳遞給Calico，calico可以通過master的api去獲取當前的pod或者node信息。

運行kubelet：

CALICO_IPAM=false KUBE_API_ROOT=http://10.11.151.97:8080/api/v1/ ./kubelet --logtostderr=true --v=0 --api_servers=http://tc-151-97:8080 --address=0.0.0.0 --network-plugin=calico --allow_privileged=false --pod-infra-container-image=10.11.150.76:5000/kubernetes/pause:latest > a.txt &

CALICO_IPAM=false是指定Calico的網絡ip分配使用docker的網橋ip地址段，也就上上面我們自己新建的cbr0的網段。

----------------------------------插入開始------------------------------------------

這里插入使用另外一種IP分配方式的方法

如果CALICO_IPAM設置為true(calico plugin從0.5.0以后默認為true)那么會從calico的pool中去獲取ip地址段。而會忽略docker0的網橋IP設置。

使用命令查看當前有的ip pool：

./calicoctl pool show

用remove命令刪除不用的IP pool，用add的方式添加IP pool。

./calicoctl pool add 172.0.0.0/8 --nat-outgoing

這樣如果使用CALICO_IPAM=true的時候運行kubelet，calico為pod分配IP會默認從pool中獲取ip，獲取的原則是每個主機上默認分配一個64大小的IP段，如果這個主機上使用了超過了64個，那么就會重新找到一個可以用的64的段。

-------------------------------------插入結束---------------------------------------

這里--network-plugin=calico指定kubernetes使用calico的網絡，kubelet會去調用 /usr/libexec/kubernetes/kubelet-plugins/net/exec/calico/calico插件，接管kubelet的ip分配任務。

可以在/var/log/calico/kubernetes/calico.log查看calico插件的日志，看看是不是異常。
到此，NODE的配置創建成功。

在101上同樣配置一下kubernetes。

 

六，測試一下

我們循環創建1個pod在100上，1個pod在101上：

test.yaml:

apiVersion: v1
kind: ReplicationController
metadata:
name: test-5
spec:
replicas: 1
template:
metadata:
labels:
app: test-5
spec:
containers:
- name: iperf
image: 10.11.150.76:5000/openxxs/iperf:1.2
nodeSelector:
kubernetes.io/hostname: tc-151-100

在master上：

./kubelet create -f test.yaml

在101上創建只需要把hostname改為tc-151-101。

創建完成后，使用./calicoctl endpoint show --detailed查看IP分配和endpoint情況，看看IP分配是否成功。

或者直接docker ps查看創建出來的container ID，exec進去，ip addr show看一下ip，然后ping 101上的container看看是不是成功的。

創建多點Pods吧：

test2.yaml:

apiVersion: v1
kind: ReplicationController
metadata:
name: test-5
spec:
replicas: 70
template:
metadata:
labels:
app: test-5
spec:
containers:
- name: iperf
image: 10.11.150.76:5000/openxxs/iperf:1.2
nodeSelector:
kubernetes.io/hostname: tc-151-100

這里我們在100主機上創建70個iperf的pods。

可是！

我們發現居然只有40啟動起來了！另外的30個資源分配失敗。查找原因發現，kubelet默認只能最多創建40個pods。我們將kubelet重啟，加上參數--max-pods=200，將最大pods數量設置為200。重新創建，70pods均創建成功。