为支持容器跨主机通信，Docker 提供了 overlay driver，使用户可以创建基于 VxLAN 的 overlay 网络。VxLAN 可将二层数据封装到 UDP 进行传输，VxLAN 提供与 VLAN 相同的以太网二层服务，但是拥有更强的扩展性和灵活性。
Docerk overlay 网络需要一个 key-value 数据库用于保存网络状态信息，包括 Network、Endpoint、IP 等。Consul、Etcd 和 ZooKeeper 都是 Docker 支持的 key-vlaue 软件，这里使用 Consul。
暂时不考虑防火墙和selinux安全问题，所以将3台dockerhost防火墙和selinux全部关闭，并且分别更改主机名称：
hostnamectl set-hostname docker01 systemctl stop firewalld systemctl disable firewalld setenforce 0 vim /etc/sysconfig/selinux SELINUX=disabled #修改 hostnamectl set-hostname docker02 systemctl stop firewalld systemctl disable firewalld setenforce 0 vim /etc/sysconfig/selinux SELINUX=disabled #修改 hostnamectl set-hostname docker03 systemctl stop firewalld systemctl disable firewalld setenforce 0 vim /etc/sysconfig/selinux SELINUX=disabled #修改运行consul服务
[root@docker01 ~]# docker run -d -p 8500:8500 -h consul --name consul --restart always progrium/consul -server -bootstrap 命令解释：-d：后台运行；-p 8500:8500：端口映射；-h consu：主机名（注意不是容器名）；--name consul：容器名；--restart always：跟随docker的启动而启动容器；-server：server端；-bootstrap：以单节点运行；PS：容器生产之后，可以通过浏览器访问consul服务，验证consul服务是否正常。访问dockerHost加映射端口。 注意：访问不到可能是因为浏览器访问界面不正常，不防换个浏览器试试<建议使用chrome>
PS：返回浏览器consul服务界面，找到KEY/VALUE——> DOCKER——>NODES，会看到刚刚加入的docker01/02/03的信息
在docker01上创建的网络，我们可以看到它的SCOPE定义的是global（全局），意味着加入到consul这个服务的docker服务，都可以看到自定义的网络。无论在哪一台上创建都是global。
[root@docker01 ~]# docker network create -d overlay ov_net1 [root@docker01 ~]# docker network ls NETWORK ID NAME DRIVER SCOPE …… 5d9ec4ef2539 ov_net1 overlay global [root@docker02 ~]# docker network ls NETWORK ID NAME DRIVER SCOPE …… 5d9ec4ef2539 ov_net1 overlay global [root@docker03 ~]# docker network ls NETWORK ID NAME DRIVER SCOPE …… 5d9ec4ef2539 ov_net1 overlay global同理如果是用此网络创建的容器，会有两张网卡。默认这张网卡的网段是10.0.0.0网段，如果想要docker02也可能看到这个网络，那么也只需在docker02的docker配置文件添加相应内容即可。 同理，因为是自定义网络，符合自定义网络的特性，可以直接通过 docker 容器的名称相互通信。
[root@docker01 ~]# docker run -itd --name ov_box1 --network ov_net1 busybox [root@docker01 ~]# docker exec -it ov_box1 sh / # ip a 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue qlen 1 link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet 127.0.0.1/8 scope host lo valid_lft forever preferred_lft forever 12: eth0@if13: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1450 qdisc noqueue link/ether 02:42:0a:00:00:02 brd ff:ff:ff:ff:ff:ff inet 10.0.0.2/24 brd 10.0.0.255 scope global eth0 valid_lft forever preferred_lft forever 15: eth1@if16: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1500 qdisc noqueue link/ether 02:42:ac:12:00:02 brd ff:ff:ff:ff:ff:ff inet 172.18.0.2/16 brd 172.18.255.255 scope global eth1 valid_lft forever preferred_lft forever [root@docker02 ~]# docker run -itd --name ov_box2 --network ov_net1 busybox [root@docker02 ~]# docker exec -it ov_box2 sh / # ip a 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue qlen 1 link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet 127.0.0.1/8 scope host lo valid_lft forever preferred_lft forever 8: eth0@if9: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1450 qdisc noqueue link/ether 02:42:0a:00:00:03 brd ff:ff:ff:ff:ff:ff inet 10.0.0.3/24 brd 10.0.0.255 scope global eth0 valid_lft forever preferred_lft forever 11: eth1@if12: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1500 qdisc noqueue link/ether 02:42:ac:12:00:02 brd ff:ff:ff:ff:ff:ff inet 172.18.0.2/16 brd 172.18.255.255 scope global eth1 valid_lft forever preferred_lft forever [root@docker01 ~]# docker exec -it ov_box1 sh / # ping 10.0.0.3 PING 10.0.0.3 (10.0.0.3): 56 data bytes 64 bytes from 10.0.0.3: seq=0 ttl=64 time=2.802 ms 64 bytes from 10.0.0.3: seq=1 ttl=64 time=0.808 ms …… / # ping ov_box2 #能够通过容器名ping PING ov_box2 (10.0.0.3): 56 data bytes 64 bytes from 10.0.0.3: seq=0 ttl=64 time=0.419 ms 64 bytes from 10.0.0.3: seq=1 ttl=64 time=0.429 ms当然也可以在自定义网络的时候，指定它的网段，那么使用此网络的容器也可以指定IP地址。
在任意一个节点，创建一个overlay网络：要求自定义网段、网关，并且使用此网络创建指定IP地址的容器，验证在不同节点，容器可以跨主机访问。
[root@docker01 ~]# docker network create -d overlay --subnet 10.10.0.0/24 --gateway 10.10.0.1 ov_net2 [root@docker01 ~]# docker network ls NETWORK ID NAME DRIVER SCOPE …… 24f4913e148a ov_net2 overlay global [root@docker01 ~]# docker run -itd --name ov_box3 --network ov_net2 --ip 10.10.0.6 busybox [root@docker01 ~]# docker exec -it ov_box3 sh / # ip a 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue qlen 1 link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet 127.0.0.1/8 scope host lo valid_lft forever preferred_lft forever 18: eth0@if19: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1450 qdisc noqueue link/ether 02:42:0a:0a:00:06 brd ff:ff:ff:ff:ff:ff inet 10.10.0.6/24 brd 10.10.0.255 scope global eth0 valid_lft forever preferred_lft forever 20: eth1@if21: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1500 qdisc noqueue link/ether 02:42:ac:12:00:03 brd ff:ff:ff:ff:ff:ff inet 172.18.0.3/16 brd 172.18.255.255 scope global eth1 valid_lft forever preferred_lft forever [root@docker02 ~]# docker run -itd --name ov_box4 --network ov_net2 --ip 10.10.0.8 busybox [root@docker02 ~]# docker exec -it ov_box4 sh / # ip a 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue qlen 1 link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet 127.0.0.1/8 scope host lo valid_lft forever preferred_lft forever 14: eth0@if15: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1450 qdisc noqueue link/ether 02:42:0a:0a:00:08 brd ff:ff:ff:ff:ff:ff inet 10.10.0.8/24 brd 10.10.0.255 scope global eth0 valid_lft forever preferred_lft forever 16: eth1@if17: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1500 qdisc noqueue link/ether 02:42:ac:12:00:03 brd ff:ff:ff:ff:ff:ff inet 172.18.0.3/16 brd 172.18.255.255 scope global eth1 valid_lft forever preferred_lft forever [root@docker01 ~]# docker exec -it ov_box3 sh / # ping 10.10.0.8 PING 10.10.0.8 (10.10.0.8): 56 data bytes 64 bytes from 10.10.0.8: seq=0 ttl=64 time=0.547 ms 64 bytes from 10.10.0.8: seq=1 ttl=64 time=0.834 ms …… / # ping ov_box4 PING ov_box4 (10.10.0.8): 56 data bytes 64 bytes from 10.10.0.8: seq=0 ttl=64 time=0.632 ms 64 bytes from 10.10.0.8: seq=1 ttl=64 time=1.523 ms ……除了overlay，docker 还开发了另一个支持跨主机容器网络的 driver：macvlan。
macvlan 本身是 Linux kernel 模块，其功能是允许在同一个物理网卡上配置多个 MAC 地址，即多个 interface，每个 interface 可以配置自己的 IP。macvlan 本质上是一种网卡虚拟化技术，Docker 用 macvlan 实现容器网络就不奇怪了。
macvlan 的最大优点是性能极好，相比其他实现，macvlan 不需要创建 Linux bridge，而是直接通过以太 interface 连接到物理网络。
实验环境：
docker01docker02192.168.1.128192.168.1.129关闭防火墙和禁用selinux，更改主机名
hostnamectl set-hostname docker01 systemctl stop firewalld systemctl disable firewalld setenforce 0 vim /etc/sysconfig/selinux SELINUX=disabled #修改 hostnamectl set-hostname docker02 systemctl stop firewalld systemctl disable firewalld setenforce 0 vim /etc/sysconfig/selinux SELINUX=disabled #修改需要在docker01和docker02上都进行操作
[root@docker01 ~]# ip link set ens33 promisc on [root@docker01 ~]# ip link show ens33 2: ens33: <BROADCAST,MULTICAST,PROMISC,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP mode DEFAULT qlen 1000 link/ether 00:0c:29:1e:20:7b brd ff:ff:ff:ff:ff:ff [root@docker02 ~]# ip link set ens33 promisc on [root@docker02 ~]# ip link show ens33 2: ens33: <BROADCAST,MULTICAST,PROMISC,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP mode DEFAULT qlen 1000 link/ether 00:0c:29:d4:1e:11 brd ff:ff:ff:ff:ff:ffPS：-o parent=绑定在哪张网卡之上
验证与docker01容器与docker02容器的通信
[root@docker01 ~]# docker exec -it mac_box1 sh / # ping 172.22.16.11 PING 172.22.16.11 (172.22.16.11): 56 data bytes 64 bytes from 172.22.16.11: seq=0 ttl=64 time=0.651 ms 64 bytes from 172.22.16.11: seq=1 ttl=64 time=0.553 msmacvlan需要解决的问题：基于真实的ens33网卡，生产新的虚拟网卡。
[root@docker01 ~]# modinfo 8021q 如果内核模块没有开启，运行下边的命令导入一下 [root@docker01 ~]# modprobe 8021q [root@docker02 ~]# modinfo 8021q 如果内核模块没有开启，运行下边的命令导入一下 [root@docker02 ~]# modprobe 8021q修改ens33网卡配置文件
[root@docker01 ~]# cd /etc/sysconfig/network-scripts/ [root@docker01 network-scripts]# vim ifcfg-ens33 BOOTPROTO=manual #修改 手动模式手动添加虚拟网卡配置文件
[root@docker01 network-scripts]# cp -p ifcfg-ens33 ifcfg-ens33.10 #-p 保留源文件或目录的属性 [root@docker01 network-scripts]# vim ifcfg-ens33.10 BOOTPROTO=manual NAME=ens33.10 DEVICE=ens33.10 ONBOOT=yes IPADDR=192.168.10.10 PREFIX=24 GATEWAY=192.168.10.2 VLAN=yesPS：这里注意，IP要和ens33网段做一个区分，保证网关和网段IP的一致性，设备名称和配置文件的一致性，并且打开VLAN支持模式。
创建第二个虚拟网卡配置文件
[root@docker01 network-scripts]# cp ifcfg-ens33.10 ifcfg-ens33.20 [root@docker01 network-scripts]# vim ifcfg-ens33.20 BOOTPROTO=manual NAME=ens33.20 DEVICE=ens33.20 ONBOOT=yes IPADDR=192.168.20.20 PREFIX=24 GATEWAY=192.168.20.2 VLAN=yesPS：如果此时有重启网卡的操作，注意验证ens33.10和ens33.20网卡必须是启用的，正在运行的，如果没有则再次开启即可。
这里只需注意，我们在这里的操作跟在docker01上的操作是一模一样的，操作顺序大致为： 1）验证8021q内核封装 2）基于ens33网卡创建新的虚拟网卡,ens33.10和 ens33.20（注意和docker01上的ens33.10和ens33.20必须是在同一网段，且IP不能冲突） 3）基于此网络运行容器。（注意和docker01上的容器，都是基于刚刚创建的macvlan网络，但IP地址不能冲突）
[root@docker01 network-scripts]# scp ifcfg-ens33.10 ifcfg-ens33.20 192.168.1.129:/etc/sysconfig/network-scripts/ [root@docker02 ~]# cd /etc/sysconfig/network-scripts/ [root@docker02 network-scripts]# vim ifcfg-ens33 BOOTPROTO=manual #修改 [root@docker02 network-scripts]# vim ifcfg-ens33.10 BOOTPROTO=manual NAME=ens33.10 DEVICE=ens33.10 ONBOOT=yes IPADDR=192.168.10.11 #修改 PREFIX=24 GATEWAY=192.168.10.2 VLAN=yes [root@docker02 network-scripts]# vim ifcfg-ens33.20 BOOTPROTO=manual NAME=ens33.20 DEVICE=ens33.20 ONBOOT=yes IPADDR=192.168.20.21 #修改 PREFIX=24 GATEWAY=192.168.20.2 VLAN=yes [root@docker02 network-scripts]# ifup ifcfg-ens33.10 [root@docker02 network-scripts]# ifup ifcfg-ens33.20 [root@docker02 network-scripts]# ip a 19: ens33.10@ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP qlen 1000 link/ether 00:0c:29:d4:1e:11 brd ff:ff:ff:ff:ff:ff inet 192.168.10.11/24 brd 192.168.10.255 scope global ens33.10 valid_lft forever preferred_lft forever inet6 fe80::20c:29ff:fed4:1e11/64 scope link valid_lft forever preferred_lft forever 20: ens33.20@ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP qlen 1000 link/ether 00:0c:29:d4:1e:11 brd ff:ff:ff:ff:ff:ff inet 192.168.20.21/24 brd 192.168.20.255 scope global ens33.20 valid_lft forever preferred_lft forever inet6 fe80::20c:29ff:fed4:1e11/64 scope link valid_lft forever preferred_lft forever [root@docker02 ~]# docker network create -d macvlan --subnet 172.16.10.0/24 --gateway 172.16.10.1 -o parent=ens33.10 mac_net10 [root@docker02 ~]# docker network create -d macvlan --subnet 172.16.20.0/24 --gateway 172.16.20.1 -o parent=ens33.20 mac_net20 [root@docker02 ~]# docker run -itd --name mac_box11 --network mac_net10 --ip 172.16.10.11 busybox [root@docker02 ~]# docker run -itd --name mac_box21 --network mac_net20 --ip 172.16.20.21 busybox在docker01上进入容器mac_box10和docker02上的mac_box11进行通信。 在docker01上进入容器mac_box20和docker02上的mac_box21进行通信。 注意：VMware 的网络必须设置为Bridge模式。
[root@docker01 ~]# docker exec -it mac_box10 sh / # ping 172.16.10.11 PING 172.16.10.11 (172.16.10.11): 56 data bytes [root@docker01 ~]# docker exec -it mac_box20 sh / # ping 172.16.20.21 PING 172.16.20.21 (172.16.20.21): 56 data bytes