Centos7 Docker 多主機 容器互連--基於OVS

來一張自己畫的圖，mark：2016年6月27日17:09:14

自己理解，如有錯誤 多謝指教。

centos7， 部署OVS和docker、以及基於centos6.8的ssh images 命令。

#!/bin/bash
#auther :V

yum upgrade -y
sed -i '/SELINUX/s/enforcing/disabled/' /etc/selinux/config
systemctl stop firewalld.service && systemctl disable firewalld.service
cat>>/etc/yum.repos.d/docker.repo<< V
[docker-repo]
name= docker repo
baseurl=https://yum.dockerproject.org/repo/main/centos/7
enabled=1
gpgcheck=1
gpgkey=https://yum.dockerproject.org/gpg
V
yum install docker-engine -y
chkconfig docker on
systemctl enable docker.service
systemctl preset-all
systemctl start docker.service
systemctl enable docker.service
docker pull centos:centos6.8
mkdir ssh
cd ssh
yum -y install vim
cat>> Dockerfile<<V
#---------ssh!
FROM centos:centos6.8
MAINTAINER '[e-mail]'
ENV TERM xterm
RUN yum -y install openssh-server;yum clean all
RUN mkdir /var/run/sshd
RUN ssh-keygen -t rsa -f /etc/ssh/ssh_host_rsa_key
RUN ssh-keygen -t dsa -f /etc/ssh/ssh_host_dsa_key
RUN /bin/echo 'root:anjubao.com'|chpasswd
RUN /bin/sed -i 's/.*session.*required.*pam_loginuid.so.*/session optional pam_loginuid.so/g' /etc/pam.d/sshd
RUN /bin/echo -e "LANG=\"en_US.UTF-8\"" > /etc/default/local
EXPOSE 22
CMD ["/usr/sbin/sshd","-D"]
V
docker build -t='syw/ssh:centos6.8' .
if [ $? -ne 0 ];then
	echo 'build error'
	exit 0
fi
docker run -d --name test1 syw/ssh
yum install bridge-utils -y
cd ~
yum install wget -y
yum -y install openssl-devel kernel-devel
yum groupinstall "Development Tools"
wget http://openvswitch.org/releases/openvswitch-2.5.0.tar.gz
yum install gcc make python-devel openssl-devel kernel-devel graphviz kernel-debug-devel autoconf automake rpm-build redhat-rpm-config libtool -y
mkdir -p ~/rpmbuild/SOURCES
tar zxf openvswitch-2.5.0.tar.gz
cp openvswitch-2.5.0.tar.gz ~/rpmbuild/SOURCES/
ls /lib/modules/$(uname -r) -ln
rpmbuild -bb --without check openvswitch-2.5.0/rhel/openvswitch.spec
yum -y install tree
cd rpmbuild/RPMS/x86_64/
yum localinstall openvswitch-2.5.0-1.x86_64.rpm -y
systemctl start openvswitch.service

 二、配置OVS

HOST1

 

#!/bin/bash
#author:V
ETHNAME=`ip addr|grep -w "2:"|awk '{print $2}'|awk -F: '{print $1}'`
IPADDR=`ip addr|grep inet|grep -v "inet6"|awk ' NR==2 { print $2 }'|awk -F"/" '{print $1}'`
echo 1 > /proc/sys/net/ipv4/ip_forward
ovs-vsctl add-br ovsbr0
ovs-vsctl add-port ovsbr0 gre0 -- set Interface gre0 type=gre options:remote_ip=192.168.17.129
brctl addbr kbr0
brctl addif kbr0 ovsbr0
ip link set dev docker0 down
ip link del dev docker0

#=============configure kbr0 by:v=====網上有的版本會少參數，centos7 會報錯哦=====
cat >>/etc/sysconfig/network-scripts/ifcfg-kbr0 << V
DEVICE=kbr0
ONBOOT=YES
BOOTPROTO=static
IPADDR=172.17.1.1
NETMASK=255.255.255.0
GATEWAY=172.17.1.254
USERCTL=no
TYPE=Bridge
IPV6INIT=no
V

cat >>/etc/sysconfig/network-scripts/route-ens32 <<V
172.17.2.0/24 via 192.168.17.129 dev eno16777736
V
systemctl restart network.service

systemctl stop docker.service
#===============================configure docker network====by:v=====
cat >>/etc/systemd/system/docker.service.d/docker.conf<< V
[Service]
ExecStart=
ExecStart=/usr/bin/docker daemon -H fd:// -b kbr0
V
chmod +x /etc/rc.d/rc.local
cat >>/etc/rc.d/rc.local<< V
ip route del default
ip route add default via 192.168.17.2 dev $ETHNAME
brctl addif kbr0 ovsbr0
V 
systemctl start docker.service

 HOST2

#!/bin/bash
#author:V
ETHNAME=`ip addr|grep -w "2:"|awk '{print $2}'|awk -F: '{print $1}'`
IPADDR=`ip addr|grep inet|grep -v "inet6"|awk ' NR==2 { print $2 }'|awk -F"/" '{print $1}'`
echo 1 > /proc/sys/net/ipv4/ip_forward
ovs-vsctl add-br ovsbr0
ovs-vsctl add-port ovsbr0 gre0 -- set Interface gre0 type=gre options:remote_ip=192.168.17.128
brctl addbr kbr0
brctl addif kbr0 ovsbr0
ip link set dev docker0 down
ip link del dev docker0

#=============configure kbr0 by:v=====網上有的版本會少參數，centos7 會報錯哦=====
cat >>/etc/sysconfig/network-scripts/ifcfg-kbr0 << V
DEVICE=kbr0
ONBOOT=YES
BOOTPROTO=static
IPADDR=172.17.2.1
NETMASK=255.255.255.0
GATEWAY=172.17.2.254
USERCTL=no
TYPE=Bridge
IPV6INIT=no
V

cat >>/etc/sysconfig/network-scripts/route-ens32 <<V
172.17.2.0/24 via 192.168.17.128 dev eno16777736
V
systemctl restart network.service

systemctl stop docker.service
#===============================configure docker network====by:v=====
cat >>/etc/systemd/system/docker.service.d/docker.conf<< V
[Service]
ExecStart=
ExecStart=/usr/bin/docker daemon -H fd:// -b kbr0
V
chmod +x /etc/rc.d/rc.local
cat >>/etc/rc.d/rc.local<< V
ip route del default
ip route add default via 192.168.17.2 dev $ETHNAME
brctl addif kbr0 ovsbr0
V 
systemctl start docker.service

 

容器A 可以 ping通HOST2的容器A。HOST1 可以用SSH登錄到 HOST2的容器中。so 只需要在外面將路由指向容器即可。

ps:

1、在docker run 的時候的cmd 是會覆蓋dockerfile的cmd 即，如果需要覆蓋可在容器/usr/sbin/sshd -D 啟動sshd。

2、本博文中OVS為2.5 之前的bug 修復，所以不需要修改spec 文件。

3、centos7 或者說 是docker 1.11 版本的docker 綁定網卡 路徑為/etc/systemd/system/docker.service.d/docker.conf。為system文件夾 說明是隨系統啟動。而里面的execstart可以看官方文檔規定，必須要空定義一個。

4、這里的網關 （使用ip route 查看） 默認網關為kbr0 定義的網關，這里需要刪除掉 更換網關，不然 宿主機和容器都無法通外網。

5、brctl addif 講ovsbr0 加入到kbr0 這個網橋。重啟network 服務會消失，所以不要重啟服務，或者重啟系統，這里我們添加到rc.local centos7的rc.local 本是沒有執行權限 so 需要chmod +x 。

6、這里為gre0模式 ，如果想轉換為vxlan 修改對應的type 即可，具體區別請百度。

7、以上腳本只適合centos7，但是過程是一樣。

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　如有問題 請留言！