四、物理網絡
本項目超融合平台主要由3個節點服務器集群組建，且使用Ceph搭建分布式存儲，為保證平台可靠性要求，為保證性能要求，為保證虛擬機遷移速率等，強烈建立采用全萬兆交換機部署。同時，IPMI網絡單獨部署交換機、業務網絡單獨部署交換機、管理網絡單獨部署交換機、存儲網絡單獨部署交換機，但是由於客戶預算有限，本項目只采用了1台三層全千兆交換機，同時在千兆交換機上划分不同VLAN以滿足IPMI網絡、業務網絡、管理網絡、存儲網絡的需求。
本項目主要是面向研發測試人員，除了對PVE超融合平台可靠性要求高之外，研發測試人員往往也比較關注PVE超融合平台的彈性化、自動化、分布式以及監控等問題。
4.1 物理網絡拓撲
某某公司超融合項目中的物理網絡設備主要包括S1724G交換機若干台，普聯TL-ER3210G網關1台，既有服務器6台，PVE節點服務器3台、研發測試工位約40個。
本項目新建的研發測試超融合平台通過新增三層交換機S5110V2-28P-SI，直接接入到既有網絡S1724G交換機，這樣做是為了保持既有網絡配置不變，而不是為了達到最優的網絡性能。
由於客戶現場網絡環境受限，新增的三層交換機S5110V2-28P-SI只能接入到既有二層交換機S1724G，這種“核心”與“接入”倒掛的網絡架構本身是不合理的，但是沒有辦法，客戶現場網絡環境只能如此組網。某某公司物理網絡拓撲如圖18所示。
圖18. 某某公司物理網絡拓撲
4.2 VLAN及IP規划
- 華三的三層交換機S5110V2-28P-SI以及既有網絡設備、服務器主機以及虛擬機等的VLAN划分以及IP地址規划如表2所示。
表2. 網絡設備的VLAN划分及IP分配
- 節點1~3服務器集群的VLAN划分以及IP地址規划如表3所示。
表3. 節點1~3服務器的VLAN划分及IP分配
- 子系統虛擬機的VLAN划分以及IP地址規划如表4所示。
表4. 虛擬機的VLAN划分及IP分配
4.3.網絡配置
4.3.1 網關TL-ER3210G配置
- 某某公司既有網關TL-ER3210G的WAN口配置如圖19所示：
圖19. 網關TL-ER3210G的WAN口配置
- 某某公司既有網關TL-ER3210G的LAN口配置如圖20所示：
圖20. 網關TL-ER3210G的LAN口配置
- 網關TL-ER3210G的北向路由配置一條靜態默認路由，實現與互聯網互通，如圖21所示。
圖21. 網關TL-ER3210G的北向路由
- 網關TL-ER3210G的南向路由配置兩條靜態路由指向業務VLAN250、VLAN251，如圖22所示。
圖22. 網關TL-ER3210G的南向路由
4.3.2 交換機S5110V2-28P-SI配置
某某公司華三交換機S5110V2-28P-SI 的VLAN以及IP路由配置如下：
- 創建虛擬機VLAN250：
[H3C] vlan250
[H3C-vlan250] description service
[H3C-vlan250] quit
- 創建虛擬機VLAN251：
[H3C] vlan251
[H3C-vlan251] description service
[H3C-vlan251] quit
- 端口GigabitEthernet 1/0/17~ GigabitEthernet 1/0/19允許VLAN250~251通過：
[H3C] interface range GigabitEthernet 1/0/17 to GigabitEthernet 1/0/19
[H3C-if-range] port link-type trunk
[H3C-if-range] undo port trunk permit vlan 1
[H3C-if-range] port trunk permit vlan 250 to 251
[H3C-if-range] quit
- 創建Ceph存儲VLAN：
[H3C] vlan252
[H3C-vlan252] description ceph
[H3C-vlan252] quit
- 創建Ceph存儲集群VLAN：
[H3C] vlan253
[H3C-vlan253] description ceph-cluster
[H3C-vlan253] quit
- 創建Ceph存儲公共VLAN：
[H3C] vlan254
[H3C-vlan254] description ceph-public
[H3C-vlan254] quit
- 創建管理VLAN：
[H3C] vlan255
[H3C-vlan255] description management
[H3C-vlan255] quit
- 端口GigabitEthernet 1/0/12~ GigabitEthernet 1/0/14允許VLAN252~255通過：
[H3C] interface range GigabitEthernet 1/0/12 to GigabitEthernet 1/0/14
[H3C-if-range] port link-type trunk
[H3C-if-range] undo port trunk permit vlan 1
[H3C-if-range] port trunk permit vlan 252 to 255
[H3C-if-range] quit
- 將端口GigabitEthernet 1/0/9~ GigabitEthernet 1/0/11加入VLAN255：
[H3C] interface range GigabitEthernet 1/0/9 to GigabitEthernet 1/0/11
[H3C-if-range] port access vlan 255
[H3C-if-range] quit
- S5110V2-28P-SI 的北向路由配置：
S5110V2-28P-SI 的北向路由配置一條靜態默認路由，實現業務VLAN250、VLAN251與互聯網互通，如下所示：
[H3C] ip route-static 0.0.0.0 0 192.168.10.1
- S5110V2-28P-SI 的南向路由配置：
S5110V2-28P-SI 的南向路由都是直連路由，業務VLAN250、VLAN251的終節點都在S5110V2-28P-SI，所以無需再配置南向靜態路由。
4.3.3 研發測試終端路由設置
研發測試終端使用默認網關“192.168.10.1”上網，除此之外還需要訪問VLAN250和VLAN251的虛擬機，需要增加三條路由：
route -p add 10.129.255.0 mask 255.255.255.0 192.168.10.253
route -p add 172.16.20.0 mask 255.255.255.0 192.168.10.253
route -p add 172.16.21.0 mask 255.255.255.0 192.168.10.253