國內目前有很多企業涉及境外業務，比如跨境電商、游戲、社交、區塊鏈等，會用到 AWS 的海外區域，同時這些企業在國內有自己的機房、 IDC 或者使用了國內的其他雲廠家的機房，如果希望彼此進行互聯互通或者數據傳輸。除了使用專線的方式之外，還能選擇 SD-WAN 方案，或者專線加 SD-WAN 的混合組網方法。
圖例1. SD-WAN 方案打通不同雲廠商和機房，辦公室的示例
SD-WAN 組網的幾個常見例子：
- 如果公司在國內，但是用到了 AWS 海外區域的資源，開發人員需要進行日常代碼上傳，雲端資源的管理（使用 AWS 控制台），並且希望網絡穩定。
- 國內有自建機房，分支機構，海外有分支機構和 AWS 區域，希望所有地方都建立互聯互通
- AWS 國內和 AWS 海外區域有數據傳輸的需要，或者國內海外有不同雲廠家的資源，希望互聯互通
另外一般來說 SD-WAN 合作伙伴在全球不同的 IDC，主流雲廠商所在的 POP 點都有自己的設備和資源，因此也可以通過專線方式接入到你的 AWS 區域，IDC 機房，各大雲廠商的 VPC 內。
SD-WAN 是什么？
在文章正式開始之前，先花一點點時間介紹一下什么是 SD-WAN 吧。
SD-WAN 的全稱是 Software Defined Wide Area Network，指用軟件來控制、管理本地網絡和遠程分支機構或雲之間的連接，通常由控制平面和數據平面組成，有專門的控制器作為控制層面，物理的路由器/交換機作為數據轉發平面。
一般來說，SD-WAN 可以充分利用企業內不同的線路類型（MPLS，普通 Internet，專線，4G/5G），根據線路狀態（丟包，負載等）動態選擇路徑，進行線路的負載均衡，智能路由，從而可以在使用低廉線路的情況下，得到有 SLA 保障的線路質量。
為什么使用 SD-WAN
- 統一的管理平台，通過 Controller 可以對所有 SD-WAN 設備進行管理和配置，而不需要像傳統的方式每一台單獨進行管理
- 提高用戶體驗，如果線路出現故障，控制器能基於應用層的感知切換線路，用戶無感知
- 全網 CPE 設備支持零配置（ZTP）自動上線
- 既能得到近似於 MPLS 線路的穩定性，又能享受普通 Internet 線路的廉價帶寬
- 節省大量運維成本
- 交付時間快（設備到貨1-2天就能交付）
我們當然也可以直接通過 Internet 搭建 Site-to-Site VPN 來打通不同的機房和辦公室，但是在網絡高峰期，或者重大節日的時候會出現不穩定和丟包極其嚴重的現象。
以下的模擬場景都是基於雲網通的設備和 SD-WAN 網絡進行測試的，該合作伙伴有豐富的多雲互聯和專線上雲，以及 SD-WAN 的經驗。
場景模擬1：純 SD-WAN 組網
在這里模擬一個使用場景，分別是連接企業自己的數據中心/辦公室， AWS 北京區域和 AWS 海外區域（這里以新加坡區域和加利福尼亞區域為例，其他區域也可以）。並且通過 SD-WAN 技術做到全網打通，兩兩彼此能通信。
圖例2. 純SD-WAN組網
在這個場景中，EC2 虛擬機通過軟路由（合作伙伴提供的 AMI 鏡像）的方式，通過 Internet Gateway 做 IPSec VPN 來連接最近的 SD-WAN POP 點。
在機房/IDC 終端設備這一端，我們可以選擇用自己的服務器安裝 SD-WAN 合作伙伴的預制鏡像，或者直接租借 CPE 設備。對於手持設備來說，也會有類似隨身 Wifi 的 mCPE 設備可以接入 SD-WAN。
圖中可以看到，每一個 vCPE 都是連接到2個 SD-WAN 的 POP 點（一般是不同城市），如果一個 POP 點出現故障，會自動切換到另一個 POP 點。
部署方法
首先先確保自己的 VPC，子網，路由表都已經按公有子網和私有子網的標准進行配置，並且公有子網已經附加了一個 Internet 網關。接着進行下面的操作：
1，讓合作伙伴共享 vCPE 的 AMI 鏡像給自己的 AWS 賬號
2，根據AMI鏡像創建一個 EC2 的實例
3，編輯實例的安全組，放開 ICMP 協議和8022端口
4，關閉源/目標檢查。因為 vCPE 將會作為軟路由存在，因此需要關閉源/目標檢查，否則所有經過 vCPE 的包都會被丟棄。
5，合作伙伴進行后台配置，生成一個與自己已用網絡都不重合的網段，作為 SD-WAN 的管理網絡，此處以10.254.0.0/16為例。
6，配置路由表，私有子網配置到10.254.0.0/16的路由，下一跳是 vCPE。
7，登陸私有子網的測試客戶端，可以分別 ping 通北京（2.3ms 延遲）和石家庄（7.5ms 延遲）的 POP 點，並且延遲都在 10ms 以內。
8，重復步驟1-7，在新加坡區域區域部署一個 vCPE 和測試客戶端，並且能 ping 通位於新加坡和印尼的 POP 點。
9，重復步驟1-7，在加利福尼亞區域區域部署一個 vCPE 和測試客戶端，並且能 ping 通最近的2個 POP 點。
10，合作伙伴會發送一個1U 的 CPE 設備到你的辦公室/數據中心，作為 SD-WAN 的終端接入點。只需要接上電源， WAN 口接外網線路（DIA），LAN 口接內網設備就可以了。並且 CPE 是自帶 DHCP 的，所以這個設備可以直接作為辦公室的唯一網關。如果公司已有自身的邊界路由器，也可以將 CPE 放置在邊界路由器以內，只需要保證 CPE 能連通 Internet 就可以注冊到 SD-WAN 控制器。設備大小如下圖所示，是一個1U 的小盒子。
11，合作伙伴會協助在 SD-WAN 控制器上下發全量配置，創建 CPE 以及定義業務網段，路由設置等。
12，配置完成后可以看到 CPE 的詳情和在線狀態，帶寬等信息。
13，配置互通路由，在3個不同的 AWS 區域，分別更改私網路由表，寫入對端的網絡，下一跳為 vCPE。如下圖所示為北京區域的子網路由配置，其他區域也是類似配置，在這里不做詳細展示了。
配置完成后，所有站點就能互聯互通了。
性能比較
以3小時為測試范圍（粒度為5分鍾的平均值），測試了從加利福尼亞分別到北京區域，新加坡區域和深圳辦公室的延遲和丟包率，並且分別以內網和公網的傳輸做對比。
延遲：可以從以下兩圖看出，如果是走 SD-WAN 網的話，延遲效果很穩定；走公網的話，延遲波動性較大。但是從絕對數值來看，其實走公網的平均延遲其實還更小一些。這里主要原因是 SD-WAN 內部網絡還有優化空間，以及 POP 點的覆蓋也還有改進空間。測試用的合作伙伴里加利福尼亞最近的 POP 點是洛杉磯，兩者相距也有400多公里，離我們經常說的最后一公里還是差距蠻大的。如果使用的 AWS 區域是美西區域，這個延遲可能會更大。
丟包率：從下面兩圖可以看出，在丟包率方面如果是走 SD-WAN 情況是零丟包（時間戳即使延長到一周的長度也沒有看到任何的丟包）。而純公網的環境下，跨境的部分丟包率特別高，這個觀測時間如果拉長到24小時，可以看到在夜間（凌晨3點到7點）會略有好轉。
SD-WAN控制器管理
另外我們可以通過 SD-WAN 控制器的 Portal 來查看所以已上線的 SD-WAN 的網絡狀態和延遲報告，我們也可以對所有 SD-WAN 網絡進行在線的路由配置，主備線路切換，HA 設置和 QoS 設置等。
圖例3. SD-WAN在線控制界面
場景模擬2： SD-WAN 和專線混合組網
這里模擬另一個場景，即將連接 AWS 區域的 SD-WAN 線路都替換成 Direct Connect 線路。如圖所示，AWS 北京將會通過 Direct Connect 專線接入，AWS 新加坡和加利福尼亞將會通過 Direct Connect Gateway 接入。Direct Connect Gateway 可以將一個 Private VIF 連接到多個不同的 AWS 區域內的 VPC。
另外需要注意的是，因為目前 Direct Connect Gateway 不支持 Transit Routing，所以新加坡區域和加利福尼亞區域之間的流量是不能經過 Direct Connect Gateway 進行流量轉發的。Transit Gateway 能解決這個問題，但是目前 Transit Gateway 還不能跨越 Region。因此在這里只能做 VPC Peering 來解決。
圖例4. SD-WAN 和專線混合組網
部署方法
首先需要在每一個區域創建一個 Virtual Private Gateway，並且將這個 VGW 附在相應的 VPC 中，然后操作以下步驟：
1，提供 AWS 賬號給合作伙伴，合作伙伴會發送一個 Direct Connect 連接到你的賬號，需要到自己的賬號上接受這個連接的請求。進入 Direct Connect – 連接，可以看到一個新的連接。
2， 選擇此連接，點擊接受按鈕，勾選條款並點擊確認。
3，Direct Connect 狀態會在幾分鍾后從 Pending 狀態變為 Available 狀態
4，創建私有 VIF，這個地方需要選擇之前接受的連接，相應的 VPC 所對應的 VGW。需要特別注意的是，VLAN ID 可以在之前接受的連接上看到（這里是 Vlan 1099），BGP ASN 需要和合作伙伴確定（這里是58991）。最底下其他設置里面的 Peer IP 地址，本地 IP 地址，BGP 身份驗證密鑰等信息也需要和合作伙伴確定。也可以留默認，讓合作伙伴對應地配置他那一端的設備。
5，配置完成后，如果合作伙伴那端的 BGP 也配置正確，就可以看到 BGP 狀態是 up 了。也說明這個 Direct Connect 線路可以正式使用。
6，重復步驟1-5，在海外區也建立相應的配置。但需要注意的是，海外區用的是 Direct Connect Gateway 而不是 Direct Connect。
7，將 Direct Connect Gateway 關聯到新加坡區域的 VGW 和加利福尼亞區域的 VGW，並且正確填寫允許的前綴。
8，同時，這個 Direct Connect Gateway 還需要關聯一個 Private VIF，具體操作和第一個場景一樣，需要特別注意 BGP ASN，VLAN ID 和其他配置信息。
9，如果兩端配置無誤，過幾分鍾就可以看到 BGP 狀態也是 Up 了
10，CPE的配置
合作伙伴會發送一個 1U 的物理設備來作為辦公室/數據中心的 CPE 設備，這個 CPE 設備類似於雲上的 vCPE，是接入 SD-WAN 的一個終端節點。CPE 設備只要能連到 Internet，就能自動被 SD-WAN 控制器發現，SD-WAN 控制器就可以對這個 CPE 進行遠程的配置，加入到 SD-WAN 網絡中。
11，VPC Peering 配置
因為 Direct Connect Gateway 不支持路由透傳，所以需要對新加坡和加利福尼亞區域做 VPC 對等連接。在 VPC 界面，點擊對等連接，創建對等連接，選擇本地的 VPC，以及輸入需要連接的對端的另一個區域的 VPC ID。
12，登陸到另一個區域，到 VPC 界面接受這個 VPC 對等連接。
13，和模擬場景1類似，配置線下的 CPE 設備。
14，以新加坡區域為例，進入子網路由表，更改到其他目的地的路由表，添加到對端的路由。其中到加利福尼亞區域是通過 VPC Peering，到其他區域是通過 VGW。
15，到其他區域配置類似的路由表設置。配置完成后，所有點就互聯互通了
性能比較
以3小時為測試范圍（粒度為5分鍾的平均值），測試了從加利福尼亞分別到北京區域，新加坡區域和深圳辦公室的延遲和丟包率，並且分別以內網和公網的傳輸做對比。
延遲：可以從以下兩圖看出，如果是走專線加 SD-WAN 混合組網的話，延遲效果很穩定；走公網的話，延遲波動性較大。但是從絕對數值來看，其實走公網的平均延遲其實還更小一些。
丟包率：從下面兩圖可以看出，在丟包率方面如果是走 SD-WAN 加專線的情況是零丟包（時間戳即使延長到一周的長度也沒有看到任何的丟包）。而純公網的環境下，跨境的部分丟包率特別高，甚至在5分鍾的期間會有100%的丟包率，這個觀測時間如果拉長到24小時，可以看到在夜間（凌晨3點到7點）會略有好轉。
收費標准
大致上 SD-WAN 混合組網的收費會有2部分，一部分是本地網絡接入 SD-WAN 的 POP 點的費用，另一部分是 AWS 端口月租費用，兩部分的費用具體都取決於帶寬的大小。
每一個合作伙伴的收費標准不一樣，具體還需要咨詢相應的合作伙伴才行，具體可以到官網查看合作伙伴信息（https://aws.amazon.com/cn/directconnect/partners/）。
雙線路冗余和高可用
考慮到單線路/設備可能出現的硬件故障，電力問題，Direct Connect 線路故障，我們還需要對這個架構進行高可用的優化。本地端可以利用雙設備，雙線路（一般為提供 DIA 的不同 ISP，比如一條是電信線路，一條是聯通線路），通過 Internet 直接連接到 SD-WAN 的 POP 點。AWS 端可以用 Direct Connect 線路作為主線路，SD-WAN 作為備用線路，或者用兩台 SD-WAN 的 vCPE 作為冗余。
圖例5. SD-WAN 和專線的高可用設計
因為篇幅有限，高可用的設置將會在下一篇文章進行詳細講解。
總結
通過 SD-WAN 網絡設計，或者專線加 SD-WAN 混合組網設計，給我們在組網的選擇上帶來了很多靈活性，我們可以根據不同的成本、性能上的考量來作出不同的選擇。一般來說，如果我們需要大帶寬，穩定的網絡，可以選擇專線；如果我們需要快速部署，測試，靈活性需求比較高的話，可以選擇 SD-WAN。而且，在很多地區（比如本次試驗中從海外到北京和到深圳），走 SD-WAN 的延遲比走專線的延遲還要更低一些（平均低40ms 左右），並且丟包率也是很專線差不多，價格反而更加優惠。
另外，目前 SD-WAN 的最后一公里（SD-WAN POP 點到客戶端 CPE 設備）還是走的普通 Internet，因此如果本地出口的帶寬利用率較高，線路質量不好的情況下，SD-WAN 的效果會受到影響。
另外，SD-WAN 的 POP 點數量和內部網絡的優化對整個 SD-WAN 的方案效果有很大的影響，因為這個決定了我們的 CPE 能否以最短的路徑，最低的延遲到達 SD-WAN 網絡。
參考材料
https://www.cisco.com/c/en/us/solutions/enterprise-networks/sd-wan/what-is-sd-wan.html#~why-now-
http://www.oneclouds.com/templates/sdwan.html
原文：https://www.xiaopeiqing.com/posts/3063.html