目錄
文章目錄
前文列表
《數據中心網絡架構演進 — 從傳統的三層網絡到大二層網絡架構》
《數據中心網絡架構演進 — 從物理網絡到虛擬化網絡》
《數據中心網絡架構演進 — CLOS 網絡模型的第三次應用》
《數據中心網絡架構演進 — 從 Underlay 到 Overlay 網絡》
《數據中心網絡架構演進 — SDN 將控制面與數據面分離》
歷史背景
-
企業上雲已是大勢所趨：通常的，企業上雲會分階段進行，第一階段通常是外包的、互聯化的非核心應用最先上雲；第二階段是企業辦公應用上雲；第三個階段則是企業的核心生產系統、控制系統上雲。以此推進，企業對雲的依賴逐步提高，企業本地與雲端的網絡連接質量自然就成為了關注的焦點。
-
混合雲興起：當單純的公有雲或私有雲不再能夠滿足企業的生產業務需求時，多種雲環境並存是企業 IT 能力適應企業業務發展的唯一方向。在混合雲環境中，網絡要如何應對雲於雲之間的連接成為了重中之重。
-
雲計算的 2.0 時代：應用雲計算的主體從互聯網行業擴展至傳統行業，隨着各個 B2B 市場的出現，跟雲相關的 ICT 的需求也逐步增強，網絡首當其沖。
混合雲
目前業界廣泛認同的混合雲概念源自 NIST 發布的雲計算定義，該定義賦予雲計算五大特征、3 類業務模式、4 種部署模式。
- 五大特征：是資源池化、按需自助服務、寬帶網絡接入、快速彈性、服務可計量；
- 3 類業務模式：是 IaaS（基礎設施即服務）、PaaS（平台即服務）、SaaS（軟件即服務）；
- 4 種部署模式：公有雲、社區雲、私有雲、混合雲。
其中，混合雲是其他幾種雲計算部署模式的結合體，支持客戶應用在雲間的數據共享、自動部署、靈活遷移和按需擴展。混合雲通常被認為是 “兩全其美”，結合了私有雲與公有雲的優勢。對於混合雲的定義，中國信息通信研究院曾經提出過觀點，必須要同時擁有公有雲和私有雲，這也是大多數廠商和用戶的認知。
概括性的，混合雲具有以下幾個關鍵優勢：
- 兼容傳統和互聯網應用，同時實現敏捷性和安全
- 實現規划內和規划外的靈活擴展
- 實現 DevOps 的快速迭代
- 成本效益
NOTE：需要注意的是，混合雲 與 多雲 具有不同的含義。多雲的形態更為多樣。
- 多公有雲的混合
- 多公有雲、私有雲的混合
Why hybrid cloud？
得益於快速部署、價格低廉和資源配置靈活，早期公有雲市場的主要客戶是互聯網企業和中小型企業。近些年，隨着公有雲的服務越來越豐富、服務體系越來越完善、價格也在不斷的降低，大中型企業也逐漸考慮如何從公有雲中獲得效益。從務實的角度出發，沒人願意將企業的命根（核心數據）交付他人，但從利益的角度出發，企業永遠追求效益最大化，這就是混合雲需求的根本誘因。混合雲是大中型企業雲計算的應用方向。
而且從雲計算市場垂直細分的發展路徑來看，單一企業對雲計算的需求貫穿 IaaS、PaaS、SaaS 將會成為常態，混合雲能夠提供統一的資源編排平台。
- IaaS：企業的敏感數據會長期存在於在私有雲，或企業數據中心，或是租用的公有雲服務器中。
- PaaS：企業開發者利用公有雲服務提供商持續釋出的技術積累來提升自身人工智能算法、數據庫方面的創新能力。
- SaaS：企業數字化轉型推動采用雲化的辦公應用服務，比如：Azure Office 365，WorkDay，SAP 等企業應用。
舉個例子：你認為從 0 開始搭建一個類似滴滴的后台雛形需要多長時間？
以谷歌雲為例，最早雲計算提供最簡單的虛擬機和存儲服務。客戶需要維護自己的數據庫和創建自己的算法代碼。最新的雲計算公司提供更完整服務，開放最新的數據庫技術，提供人工智能機器學習算法（AI/ML），並且提供的完整的數據處理架構。舉一個簡單的例子，最近參加谷歌新加坡 Google 雲研討會，他們介紹如果從頭開始一個類似滴滴的 Beta 項目， 對某個城市例如北京，實時檢測司機在地圖上的具體地點，乘客的路徑規划要求需要匹配最優的司機。而且需要很多前台/后台工作，包括架設很多服務器處理海量請求等等。大家可以想像，如果從頭開發，需要多少人來做一個類似的 APP？正常情況下大概需要 30-50 工程師，至少需要 6-12 個月開發。在谷歌雲上已經提供包括地圖映射，路徑規划算法和信息流處理，並且很容易 Scale Out 處理海量請求。利用這種成熟的 Cloud 開發環境，一個有經驗的工程師，二十分鍾左右可以做一個類似滴滴雛形的后台系統。可以看到越來越多的中小企業不光采用雲服務來獲得便宜的計算和存儲資源，越來越多的企業采用混合雲來利用雲公司的先進技術，數據庫，人工智能算法，大規模消息處理等等來加速創新。雲服務成為創新的催化劑，並且極大提高和簡化技術易用性，使得中小企業不需要高端算法工程師，也能很快地推出很酷的主意，解決客戶痛點。
– https://www.sdnlab.com/21293.html
再舉個例子：你認為獲取千台數量級的服務器擴容需要花費多少成本和時間？
2015 年的春晚，在不到 2 天的時間內共完成 1375 台阿里雲 ECS 的擴容，實現了無降級業務的情況下平滑地抗住了春晚的峰值。
– https://www.infoq.cn/article/weibo-DCP1
一言以蔽之，未來的雲計算不會僅僅是提供計算、存儲資源，而是提供一切企業用戶需要的技術平台。混合雲就是企業整合技術堆棧，繼而追求利益最大化的最佳手段。
混合雲市場
全球范圍內，混合雲已經成為企業用雲的主要形式。根據 RightScale 2019 年雲狀態報告，有 84% 的受訪企業采用了多雲戰略。其中，使用混合雲的企業比例繼續提高，由 2018 年的 51% 增長到 2019 年的 58%。
從國內市場來看，企業應用混合雲的比例仍處於較低水平。根據中國信息通信研究院調查統計，2018 年我國企業應用雲計算的比例接近 6 成，其中采用混合雲比例為 14%，相比 2017 年小幅度上升。中國信息通信研究院發布的《中國混合雲發展調查報告（2019年）》顯示，減少基礎設施投資是企業采用混合雲的首要原因。在企業應用混合雲原因的調查中，因減少基礎設施投資而選擇混合雲的企業占比最高，達到 56.3%，與去年相比提高了 1.6%。企業通過將並發量較大的應用遷移到混合雲中的公有雲上，來滿足峰值處理需求，同時減少相應基礎設施的投資。其次，46.8%的企業因資源拓展速度快而應用了混合雲，與 2017 年相比提高了 2.6%。此外，企業應用混合雲的原因還包括：增加平台可靠性（25.6%）、提高平台安全性（23.4%）和同業內已有典型應用案例（22.3%）等。缺少適合的解決方案是企業尚未應用混合雲的首要原因。調查顯示，出於缺少適合解決方案而未使用的混合雲的企業占比達到 37.5%，與 2017 年相比提高了 12.4%。隨着企業對於混合雲的接受程度逐步提高，企業遷移上雲的需求更加多樣化，解決方案的適配性仍有較大的提升空間。其次，30.7%的企業因現有技術不夠成熟而尚未應用混合雲。其他因素還包括：沒有明確的監管指引（19.2%）、混合雲帶來的優勢不明顯（18.3%）等。
- 災難恢復、數據備份和負載擴容是混合雲三個重要的應用場景。
- 單獨管理各平台是企業最重要的混合雲管理方式。
- VPN 和專線是應用較為廣泛的混合雲平台間的網絡連接方式。
- 網絡連接不夠穩定是企業應用混合雲面臨的首要問題。
– http://www.caict.ac.cn/kxyj/qwfb/bps/201907/P020190704511581594525.pdf
隨着雲計算市場激烈的競爭，原來各自領域的玩家都在進行全方位的滲透，原來的公有雲服務提供商，或者現在稱之為雲服務提供商會更加貼切。AWS、Azure、阿里雲處理公有雲之后，都提出了自家的私有雲、專有雲（公有雲的專有化）、混合雲全家桶方案，進一步壓縮了私有雲初創企業的生存空間。筆者切身的體會到，在經過了一輪洗牌之后，更多的私有雲初創公司都轉向、或考慮轉型深耕雲生態周邊的服務市場，不再以單純的雲產品與大型廠商正面對碰。相反，現在仍以私有雲服務立足的公司都是經受住市場考驗的公司，它們都找到了賴以生存的支點，或容器、或邊緣 5G、或高級人力外包服務。
混合雲的邏輯架構
下圖為混合雲的典型邏輯架構，該架構由企業內部的私有雲、雲服務提供商的公有雲、混合雲網絡和統一管理模塊以及用戶等組成。
公共雲、私有雲在混合雲中的工作方式與其各自獨立運行時沒有什么不同。通過應用編程接口（API）、虛擬專用網絡（VPN）或廣域網（WAN）將這兩個環境盡可能無縫地連接到一起，就把私有雲和公共雲組合成了混合雲。只有這樣互聯互通，混合雲才能發揮作用。否則，就只是單獨的公共雲+私有雲。在此之上，混合雲主要實現了 混合雲網絡 和 混合雲管理 兩大功能模塊，前者負責多雲間的互聯互通，后者負責將資源抽象化並匯集到混合雲中，以統一的自服務管理平台調度管理這些資源並負責置備新的運行環境。並在此基礎上實現負載遷移、雲爆發、雲災備等混合雲能力。可見，網絡連接的完善程度對混合雲的工作效果有至關重要的影響。
混合雲架構中的關鍵技術主要包括： 雲應用架構、混合雲網絡、混合雲管理（資源、業務、計費）、負載遷移、雲爆發、雲災備、互操作性。
混合雲架構需要解決以下問題：
- 集成聯網：通過網絡無縫連接多個雲，以創建一個統一的企業環境。
- 集成身份和權限：要做一點接入，全網互通。
- 數據集成：數據通過網絡在多雲中流傳。
- 集成資源和部署管理：跨多雲集成應用程序部署和管理。
- 集成設備和邊緣系統：本地物聯網設備或邊緣的系統可以直接接入公有雲中，而不需要通過私有雲中心系統再上報到公有雲。
- 管理及自動化編排軟件：允許用戶通過由自動擴展和動態資源分配支持的自助服務門戶按需、且無感的訪問多雲資源，私有雲、公有雲雙線提取資源，並交替使用這兩種雲。
混合雲應用場景
災難恢復
混合雲的災難恢復一般采用主從架構。在這種架構下，用戶可以把備用的業務數據放在公有雲上，借助公有雲提供商的技術優勢、災備經驗、運維管理等資源，快速實現數據災難恢復，保障服務的連續性。同時，與全部使用私有雲相比，混合雲的災難恢復還可以降低運維工作量，節省災備系統成本。在私有雲數據中心發生重大災難時，用戶可以在公有雲端利用雲主機快速切換，將備份數據拉起，大幅降低 RTO，實現業務高可用。
數據備份
數據備份的目的是把某一時間的數據或應用保存在一個安全可靠的地方。通常的場景是應用負載運行在公有雲或私有雲上，而數據備份放在私有雲或公有雲里，以達到安全穩定的目的。
負載擴容
在這個場景下，應用部署通常在私有雲里，在某一特定時間，應用訪問或使用會突然增加，當企業無法快速添置硬件擴展私有雲容量去適應這變化時，混合雲平台應能通過公有雲來彌補暫時的容量不足，達到調峰目的。比如，在月末或季末，企業財務系統通常都需要計算生成大量各種報表，這時就可以短暫租用公有雲彌補計算資源的不足，而不是擴容私有雲，否則，會造成大部分時間的資源浪費。
應用部署
對於擁有多個分支的企業，尤其是跨國企業來說，如果業務都由總部數據中心來集中處理，隨着業務量的增加，總部的處理能力和接入帶寬將明顯成為瓶頸。通過混合雲方案，將前端服務部署在公有雲上，利用公有雲多 Region 和 CDN 的優勢使服務盡量靠近最終用戶，后端仍部署在總部私有雲中。前端處理完成后，只需要少量的前后端交互訪問即可完成整個業務處理。
混合雲提供跨雲安全、可信的網絡通道，連接公有雲側的租戶環境與企業側的私有網絡，保障通信質量及安全可靠性；同時實現分布在私有雲和公有雲上的應用和 IT 資源的統一管理，包括統一的組織目錄結構、用戶身份認證等，保證企業對業務的管控能力。通過這樣的混合雲跨雲協同部署，可以大幅提升系統的服務能力和用戶體驗。
開發測試生產部署
對一個應用而言，其開發測試過程一般需要靈活快捷的環境搭建，而且期間經常重構，這時公有雲是個不錯選擇，而一旦正式上線，則希望運行在安全穩定的環境中，那時就會考慮私有雲。在這種情況下，同一應用不同階段相互之間獨立，沒有直接聯系。通過構建混合雲，利用 DevOps 流程與工具，就可同時獲得公有雲靈活快捷和私有雲安全穩定的好處。
混合雲產品
多雲管理產品
公有雲與私有雲是兩朵不同的雲，都有自己的服務門戶，而且彼此對資源的使用方式也是不一樣的，公有雲通常是預付費式，只要帳戶里的費用足夠，就可去開通與使用相應的雲服務；而私有雲通常是審批式，雲平台只計費，但不需要支付，只需要走完相應的資源申請與審批流程，便可以去使用相應的雲服務。
混合雲首先需要解決的就是服務門戶的統一、資源狀態監控界面的統一，在一個平台上實現雲資源的統一申請、統一審批、統一監控、統一計費，即多雲管理平台 CMP。這樣才能大幅度降低用戶跨平台切換帶來的復雜運維工作量，讓用戶跨平台的資源使用與監控更加方便。
多雲網絡互聯產品
主要是一些網絡廠商在做，幫助用戶快速完成私有雲與公有雲網絡的對接服務，達到互聯互通的目的。包括 VPN、VPC 等技術。其中，VPC 是在雲內單獨為某一租戶划分一塊專有的區域，提供虛擬主機、存儲、網絡、安全相關資源，讓租戶在公有雲上構建屬於自己的 “私有雲”，再經由 VPN 技術實現本地私有雲和遠程 “私有雲” 的互聯。
異地容災、備份、遷移產品
公有雲的存儲資源可以看成無限大，而且使用成本低，但公有雲存儲最大的問題就是數據的安全性與遠程訪問的時延，因此公有雲存儲最適合做企業數據的備份歸檔和異地容災，而私有雲存儲適合做企業核心業務的在線存儲。
- 容災產品：主要是新一代的容災廠商在做，例如：Veeam，可以將本地 VMware vCenter 的虛擬機與公有雲中的虛擬機建立容災，當本地虛擬機故障時，可以馬上在公有雲上啟動並建立業務網絡，以此達到容災的效果。
- 備份產品：主要是存儲廠商在做，例如：XSKY，通過用戶自定義的策略將用戶的數據備份到公有雲，並可以恢復到本地。
- 遷移產品：有一些新興的初創公司和公有雲服務提供商自己在做，例如：AWS Storage Gateway，通過存儲網關建立本地存儲和公有雲存儲的連接通道。
公有雲基於 Overlay 技術提供的 VPC 混合雲網絡架構
- AWS VPC
- 阿里雲 VPC
- OpenStack VPC
虛擬私有雲/網絡（VPC）
VPC（Virtual Private Cloud，虛擬私有雲）是一個容易讓人誤解的稱謂，是雲？是網？讓人迷惑。其實從服務和技術的角度分別來看 VPC 即是一種雲，也是一種網絡模式。
VPC 最早由 AWS 在 2009 年提出，不過 VPC 的一些組成元素（網絡、存儲、計算）在其提出之前就已經存在。VPC 只是將這些元素以私有雲的視角重新包裝了一下，單一用戶的雲主機只能使用 VPC 內部的元素。所以 VPC 的本質是公有雲服務商以打包的形式提供服務。
用戶可以在公有雲上創建一個或者多個 VPC，每個部門一個 VPC，對於需要連通的部門創建 VPC 連接。同時，用戶也可以通過 VPN 將自己內部的數據中心與公有雲上的 VPC 連接，構成混合雲。不論哪種用例，VPC 都以更加直觀形象讓用戶來設計如何在公有雲上存放自己的數據。
從服務的角度來看：雲計算可分為公有雲、私有雲、和混合雲，但 VPC 這三者都不是。VPC 是一種運行在公有雲上，將一部分公有雲資源為某個用戶隔離出來，給這個用戶私有使用的資源的集合。它由公有雲管理，但是保證每個用戶之間的資源是隔離，用戶在使用的時候不受到其他用戶的影響，用戶可以要求享受管理面、數據面、故障面的三重隔離，感覺就像是在使用自己的私有雲（孤島）一樣。
VPC 有兩種硬件租用模式，共享（shared）和專屬（dedicated）。前者指 VPC 中的虛擬機運行在共享的硬件資源上；后者是指 VPC 中的虛擬機運行在專屬的硬件資源上，不同 VPC 中的虛擬機在物理上是隔離的，同時 VPC 還幫助實現了網絡上的隔離。專屬模式相當於用戶直接向公有雲服務商租用物理主機，適合對數據安全比較敏感的用戶。
NOTE：專屬 VPC 與私有雲的多租戶隔離有本質的區別，多租戶隔離是為了 “共享” 底層基礎架構的物理資源，只能做到管理面和數據面的隔離，做不到故障面的隔離（因為物力資源是共享的）。
從技術的角度來看：VPC 是用戶專屬的一個二層網絡，是一個構建在 L3 之上的 L2 Overlay 網絡。VPC 的數據封裝與 VxLAN 之類的 Overlay 網絡技術很類似，原始的二層幀，被 VPC 標簽封裝，之后再封裝到另一個 IP 數據包內。
NOTE：VPC 雖然指的是專有二層網絡，但是跟網絡配套的資源有很多，這些網絡資源都是以 VPC 作為單位划分。定義在一個 VPC 內的網絡資源，只能被這個 VPC 內的虛機使用。這些網絡資源包括：Security Group, Subnet, Network ACL, Routing Table, Router。
VPC 的實現原理
在 AWS VPC 內，存在多個可用域（Aviable Zone），用戶可以自由地划分 Subnet CIDR 和定義路由策略，可提供網絡 ACL 及安全組的訪問控制。一般的，VPC 會提供一個 Internet GW，做 NAT/LB 和 VxLAN Routing，還會提供一個 VPC GW，提供 IPsec 接入 VPC 互聯和企業遠程上雲（Cloud Onboarding）業務。
VPC 的本質就是一個租戶專屬的二層網絡，所以同樣存在 L2 廣播域跨 POD 的問題，這個問題我們在之前已經提到過，不再贅述。總之，VPC 解決這個問題的方案依舊是采用了 Overlay 技術。可見，VPC 通常是一個 L2 in L3 或 IP in IP，甚至是 VLAN in VLAN（QinQ）的 Overlay 網絡。
OpenStack 的 VPC 可以使用 VxLAN 技術來實現，而 AWS VPC 擁有自己專屬的 Overlay 封裝技術 Mapping Service。當虛機之間要通信的時候，請求先發到 Mapping Service，再由它找到目的虛機對應的信息（e.g. 目的虛機所在的主機 IP 地址），Mapping Service 用對應的信息，封裝成 Overlay 網絡包，再進行傳輸。
這里的 Mapping Service，與 SDN Controller 的作用可以說是一樣的。SDN Controller 掌握了所有的網絡信息，當需要進行二層，三層通信時，SDN COntroller 會根據網絡數據包下發 OpenFlow 流表，使得虛機之間直接通信。Mapping Service 還是一個分布式的 SDN 控制器，因為每個主機上都有一個 Mapping Service 的緩存。通過這種分布式，可以實現高速運算處理。
AWS 還提供了一個 Edge（邊緣）設備（Blackfoot Edge Device），它使得 VPC 變得異常強大，是公有雲廠商的真正競爭力的所在。通過這個 Edge，VPC 可以做到：
-
與別的 VPC 相連
-
與互聯網相連
-
與用戶私有雲的 VPN 相連
-
與 AWS 的其他服務相連
有了這樣的 Edge 設備，VPC 不再是孤島，而是有了連接其他陸地的橋梁，打通了公有雲、私有雲、混合雲網絡。這里的 Edge 設備，可以看成是 VNF，AWS 需要用戶在 VPC 內部手動配置路由來引流到這個 Edge 設備。 -
VxLAN
-
Mapping Service
VPC 的接入
還是以 AWS VPC 為例，VPC 通常會有一個 IGW（Internet GW）提供缺省路由 NAT/LB 等功能。還會提供一個 VGW 來提供 IPSec 互聯。AWS 提供了一個邊緣設備（Blackfoot Edge Device）來提供 VGW IPSec 功能，它使得 VPC 變得異常強大，是公有雲廠商的真正競爭力的所在。
通過這個邊緣設備，AWS VPC 可以做到：
- Private Link：滿足多個 VPC 互訪需求，用戶可以在 VPC 上注冊一個私有鏈路（Private Link），在 VPC上 提供 Elastic Network Interfaces（ENI），其他 VPC 可以通過這個 ENI 以白名單方式訪問對應 VPC 的資源。
- Internet traffic：與互聯網相連，走 IGW。
- VPN：與私有雲的 VPN 相連。
- S3/DynamoDB Endpoints：與 AWS 的其他服務相連。
企業可以通過以下方式接入 AWS VPC： - Direct Connect：在 IXP/Colo（互聯網交換中心）數據中心，通過 VPC 路由器和企業本地路由器上的 VLAN 接口，連接 VPC 和企業網絡，並且支持 BGP 路由分發。可以提供高達 80Gbps 的大帶寬接入。
- IPsec VPN：通過 IPsec 連接到 VGW，提供大概 1Gbps 的接入帶寬。
- SD-WAN 接入：采用 SD-WAN 技術，這個我們在后續的篇章中詳細再談。