ovn-kubernetes安裝指南

Master節點的安裝

1、首先在master節點安裝ovs和ovn：

#!/bin/bash

sudo apt-get install openvswitch-common openvswitch-switch

sudo apt-get install ovn-common ovn-central ovn-host

　　

源文件參見我的github（下文同理）:https://github.com/YaoZengzeng/scripts/blob/master/ovn-central.sh

 

2、下載並安裝ovn-kubernetes：

git clone https://github.com/openvswitch/ovn-kubernetes

cd ovn-kubernetes

pip install .

　　

3、對ovn master節點進行初始化：

#!/bin/bash

NODE_NAME=

CENTRAL_IP=
LOCAL_IP=

CLUSTER_IP_SUBNET=
MASTER_SWITCH_SUBNET=

ovs-vsctl set Open_vSwitch . external_ids:ovn-remote="tcp:$CENTRAL_IP:6642" \
  external_ids:ovn-nb="tcp:$CENTRAL_IP:6641" \
  external_ids:ovn-encap-ip="$LOCAL_IP" \
  external_ids:ovn-encap-type="geneve"

ovs-vsctl set Open_vSwitch . external_ids:k8s-api-server="127.0.0.1:8080"

ovn-k8s-overlay master-init \
  --cluster-ip-subnet=$CLUSTER_IP_SUBNET \
  --master-switch-subnet="$MASTER_SWITCH_SUBNET" \
  --node-name="$NODE_NAME"

　　

其中NODE_NAME為master節點的hostname，CENTRAL_IP和LOCAL_IP對於master節點是一樣的，都是master節點自身的IP地址，CLUSTER_IP_SUBNET為整個集群的子網范圍，例如192.168.0.0/16，而MASTER_SWITCH_SUBNET則為master節點上的pod能夠分配的子網范圍，例如192.168.1.0/24

源碼鏈接：https://github.com/YaoZengzeng/scripts/blob/master/ovn-k8s-master.sh

 

4、最開始我是使用kubeadm搭建k8s集群的，但是當通過http://127.0.0.1:8080訪問api server時會發現該端口並未打開，可能是kubeadm默認是不打開該端口的，因此只能使用手動方式搭建kubernetes。首先下載並安裝kubernetes：

#!/bin/bash

# Install docker
apt-get update
apt-get install -y docker.io

mkdir k8s
cd k8s

wget https://github.com/kubernetes/kubernetes/releases/download/v1.5.3/kubernetes.tar.gz

tar xvzf kubernetes.tar.gz

./kubernetes/cluster/get-kube-binaries.sh

mkdir server

cd server

tar xvzf ../kubernetes/server/kubernetes-server-linux-amd64.tar.gz

cd kubernetes/server/bin

cp kube-apiserver kube-controller-manager kube-scheduler kubelet kubectl /usr/bin

# Install cni
mkdir -p /opt/cni/bin && cd /opt/cni/bin

wget https://github.com/containernetworking/cni/releases/download/v0.5.2/cni-amd64-v0.5.2.tgz

tar xvzf cni-amd64-v0.5.2.tgz

 

源碼連接：https://github.com/YaoZengzeng/scripts/blob/master/k8s-download.sh

 

5、接着運行kubernetes的各個組件：

#!/bin/bash

# On the master node, start etcd
docker run \
  --net=host \
  --detach \
  gcr.io/google_containers/etcd:2.0.12 \
  /usr/local/bin/etcd \
    --addr=127.0.0.1:4001 \
    --bind-addr=0.0.0.0:4001 \
    --data-dir=/var/etcd/data

# install kube-apiserver
nohup kube-apiserver \
  --service-cluster-ip-range=192.168.200.0/24 \
  --address=0.0.0.0 \
  --etcd-servers=http://127.0.0.1:4001 \
  --v=2 \
  2>&1 > /dev/null &


# install kube-controller-manager
nohup kube-controller-manager \
  --master=127.0.0.1:8080 \
  --v=2 \
  2>&1 > /dev/null &

# install kube-scheduler
nohup kube-scheduler \
  --master=127.0.0.1:8080 \
  --v=2 \
  2>&1 > /dev/null &

 

源碼鏈接：https://github.com/YaoZengzeng/scripts/blob/master/k8s-master.sh

　　

6、最后，啟動ovn-k8s-watcher對k8s apiserver進行同步：

#!/bin/bash

ovn-k8s-watcher \
  --overlay \
  --pidfile \
  --log-file \
  -vfile:info \
  -vconsole:emer \
  --detach

　　

源碼鏈接：https://github.com/YaoZengzeng/scripts/blob/master/ovn-k8s-watcher.sh

 

到此為止，master節點配置完成

 

Minion節點的安裝

1、首先在minion節點安裝ovs和ovn：

#!/bin/bash

sudo apt-get install openvswitch-common openvswitch-switch

sudo apt-get install ovn-common ovn-host

 

源碼鏈接：https://github.com/YaoZengzeng/scripts/blob/master/ovn-host.sh

 

2、下載並安裝ovn-kubernetes：

git clone https://github.com/openvswitch/ovn-kubernetes
cd ovn-kubernetes
pip install .

　　

3、對ovn minion節點進行初始化：

#!/bin/bash

NODE_NAME=

CENTRAL_IP=
LOCAL_IP=

K8S_API_SERVER_IP=

CLUSTER_IP_SUBNET=
MINION_SWITCH_SUBNET=

ovs-vsctl set Open_vSwitch . external_ids:ovn-remote="tcp:$CENTRAL_IP:6642" \
  external_ids:ovn-nb="tcp:$CENTRAL_IP:6641" \
  external_ids:ovn-encap-ip="$LOCAL_IP" \
  external_ids:ovn-encap-type="geneve"

ovs-vsctl set Open_vSwitch . \
  external_ids:k8s-api-server="$K8S_API_SERVER_IP:8080"

ovn-k8s-overlay minion-init \
  --cluster-ip-subnet="$CLUSTER_IP_SUBNET" \
  --minion-switch-subnet="$MINION_SWITCH_SUBNET" \
  --node-name="$NODE_NAME"

　　

NODE_NAME等變量和上文基本相同，其中LOCAL_IP是minion的IP地址，而CENTRAL_IP和K8S_API_SERVER_IP為master的IP地址

源碼鏈接：https://github.com/YaoZengzeng/scripts/blob/master/ovn-k8s-minion.sh

 

4、和Master部分的步驟4相同，下載並安裝kubernetes

 

5、運行kubernetes minion節點的組件，其實就是kubelet：

#!/bin/bash

K8S_API_SERVER_IP=

# Start kubelet
nohup kubelet \
  --api-servers=http://$K8S_API_SERVER_IP:8080 \
  --v=2 \
  --address=0.0.0.0 \
  --enable-server=true \
  --network-plugin=cni \
  --network-plugin-dir=/etc/cni/net.d \
  2>&1 > /dev/null &

　　

其中K8S_API_SERVER_IP變量為master節點的IP地址

源碼鏈接：https://github.com/YaoZengzeng/scripts/blob/master/k8s-minion.sh

 

Gateway節點的安裝

本文中，我們將Gateway也安裝在Minion節點上 。官方對於Gateway節點的安裝有兩種方案，一種是使用專有的網卡eth1，另一種是公用eth0。在這里我們使用后者。

1、首先eth0的IP地址"$PHYSICAL_IP"，我們需要創建一個網橋"breth0"，接着將eth0作為端口添加到網橋上，之后再將"$PHYSICAL_IP"移到breth0上。同時，我們也需要把和eth0相關的路由修改為和breth0相關。

我們可以使用工具ovn-k8s-util完成上述操作。需要注意的是"$PHYSICAL_IP"必須是帶掩碼配置的，例如，10.33.74.138/24

 

2、初始化gateway

 

3、因為對於mgmt和North-South連接共享一個網卡，因此我們需要獨立啟動一個daemon用於分流，該daemon名稱為ovn-k8s-gateway-helper。

具體的安裝腳本如下：

#!/bin/bash

NODE_NAME=m1

CLUSTER_IP_SUBNET=192.168.0.0/16

PHYSICAL_IP=

EXTERNAL_GATEWAY=

K8S_API_SERVER_IP=

NIC=eth0

OVSBR=breth0

ovs-vsctl set Open_vSwitch . \
  external_ids:k8s-api-server="$K8S_API_SERVER_IP:8080"

ovn-k8s-util nics-to-bridge $NIC

ovn-k8s-overlay gateway-init \
	--cluster-ip-subnet="$CLUSTER_IP_SUBNET" \
	--bridge-interface $OVSBR \
	--physical-ip "$PHYSICAL_IP" \
	--node-name="$NODE_NAME" \
	--default-gw "$EXTERNAL_GATEWAY"

ovn-k8s-gateway-helper --physical-bridge=$OVSBR --physical-interface=$NIC \
	--pidfile --detach

其中EXTERNAL_GATEWAY為宿主機的默認網關

源碼鏈接：https://github.com/YaoZengzeng/scripts/blob/master/ovn-k8s-gateway.sh

 

到此為止，完成了ovn-kubernetes的安裝。