雲計算 = “潘多拉”？

本文轉載自查看原文 2021-12-17 17:14 124 雲原生/ Docker/ 容器/ K8S/ 騰訊雲原生/ Prometheus/ Istio/ Kubernetes/ TKE/ 雲計算

作者

王孝威：FinOps 認證從業者，熱衷傳播 FinOps 理論和實踐知識，助力雲上企業降本增效。

雲計算時代已經到來

雲計算時代真的到來了嗎？

雲計算（Cloud Computing），從 2006 年 AWS 第一次推出彈性計算雲服務，已走過十五年風雨歷程。早期被指責成“新瓶裝舊酒” 的炒作，后來引發了人們對雲上數據隱私的擔憂，再到對公有雲偶發事故的嘲笑，雲計算的成長一直飽受罵名，但雲計算市場現狀究竟如何？

從中國市場主流軟件來看

可能你已經注意到，在部分國民軟件的啟動頁，會看到最下面有個標識：“某某雲提供計算服務”。雲計算已經漸漸融入了生活，例如想聊天了打開通信軟件、無聊了想聽歌看視頻、餓了想點外賣、找不到方向想看地圖，這些軟件的啟動頁下面可能都有一行字：“某某雲提供計算服務”，雲計算已經給生活帶來了無窮便利。

從全球雲計算市場規模來看

公有雲在每年超過 1000億美元支出的基礎上快速增長，2020 年全球共有雲市場份額已經超過 1250 億美元，雲計算正在化繭成蝶。

圖1：企業在公有雲和數據中心的花費
圖源: Synergy Research Group

為什么雲計算市場“爆發”了？

雲計算把所有的計算、存儲、網絡等資源都抽象成了資源池，如下圖2所示。需要用這些資源時只需要在公有雲的平台網站上用手指點點點，資源觸手可及。這就像你住的家里接通了水、電、網絡，只需要打開開關，就能享受現代生活的便利。雲計算極大的方便了企業在發展過程中對資源的消耗，無需再提前購買資源、組建團隊、專門運營，需要資源只需要在公有雲平台上注冊一個賬號，就可以直接使用多樣化的資源服務。

圖2：雲計算將企業需要的資源抽象成了隨手可得的水電

潘多拉魔盒已經打開

雲計算 = “銀彈”？

如圖3所示，現代家庭需要管理的一般都是小范圍資源的開關，例如一個家庭一般只有幾個水龍頭、數十個開關和插頭、以及一個網絡入口，水和電一般都是隨用隨開、按量付費，網絡則是包年包月。水龍頭一般會記得關，但很多開關會時會常忘記，例如空調、電視等等，每次較電費時會“心痛不已”。同樣的，如果使用個人電腦或者雲上的資源做一個小的項目時（例如學校的軟件作業），可以自己控制項目的啟停。如果忘記關閉項目，因為項目本身會消耗資源，個人電腦就會變卡、如果項目在雲端運行，則會持續產生費用。

如果從現代家庭上升到城市維度，城市管理需要管理的“開關”、“插頭”和“網絡”成千上萬。同樣的，如果運行的項目從傳統的個人小項目上升到例如微信這樣的國民應用，需要消耗的資源也是指數級增長的。如此龐大的資源管理量，用現代家庭（小項目）的資源管理方式可能無法應對，而且管理不當會造成較大浪費。

圖3：現代城市的資源管理難題

從企業資源管理來看，以前一般都有自己的 IT 中心，企業看到到自己的設備、有清晰明確的設備購買流程、有折舊計算方法、有嚴格的資源審核邏輯、有完整的 IT 中心管理體系。雲計算把 IT 中心虛擬化了，變成了純線上的虛擬平台，讓資源隨時隨地想用就用，這種可變的支出模型一旦沒有好好利用，或者是忘記了關閉“開關”，浪費現象顯著。如今的公有雲，每家廠商都提供了數百種產品，每種產品下又有若干種不同的類型，客戶對雲資源的管理來產生了新的挑戰。這個過程的轉變，如果改變現有的管理手段？

要改變管理手段之前，可以先分析企業資源消費模型的變化，這里最主要的變化是：公司對 IT 資產的投入從傳統的資本投資（Capital Expenses）變成了運營支出（Operating Expenses），這種變化主要表現為：

	傳統 IT 消費模型	雲上可變消費模型
設備的購買流程	當項目團隊的新項目需要硬件設備時，需要向財務部和采購部證明其項目是否有足夠的商業化價值，通過了才能申請經費、訂購設備	任何授權的項目團隊成員可以隨時隨地購買雲資源，財務部和采購部失去了管理的作用
角色關系	工程師是申請者；財務部/采購部是審核批准者	工程師可以隨時隨地購買雲資源 spend money with code；財務部/采購部對花費沒有清晰的可見性，失去了監管作用；且不同角色之間缺少了溝通
消費	可預測（根據預測提前購買設備）；靜態的（在下次采購之前都不會發生變化）	不可預測的（隨時購買設備）；動態的（隨時隨地可能有變化）
購買周期	較長	即時
失敗成本	大	小，但可能造成浪費
項目敏捷	低	高
支出模型	資本投資（Capital Expenses），像投資一樣提前批量購買設備	運營支出（Operating Expenses），像運營一樣隨時按需購買設備

表1：公司對 IT 資產的消費模型變化

因此，如果管理方式沒有進化，“上雲”反而可能成為一種負擔。Flexera 發布的《2021 雲計算市場發展狀態報告》指出，企業上雲后平均浪費了 30% 的雲支出，雲成本優化是企業 2021 年最想做的事情。

圖4：Flexera 調研企業在 2021 年最想做的關於雲的事情

潘多拉魔盒（潘多拉盒子，pandora's box）是一則古希臘經典神話。眾神贈予了潘多拉一個魔盒，盒子里面包含人世間所有邪惡——貪婪、虛偽、誹謗、嫉妒等等。雲計算雖然讓企業過上了資源隨時隨地即開即用的“現代生活”，但因為其余的配套系統（管理方式、人員培訓、運營手段）沒有及時跟進，雲計算像一個潘多拉盒子一樣，給企業也帶來了很多難題。本文主要探討企業上雲后最大的問題：如何有效優化雲的使用成本？

蓋上潘多拉魔盒

魔盒如何關閉？

新的企業 IT 消費模型需要新的管理手段，該方案應該是能夠覆蓋人員、流程和技術的管理，是專門針對雲上可變消費模型的治理方案，確保客戶在雲上花費的每一元獲得最大價值。

如果該方案還可以結合客戶自己的商業化指標給出決策性建議，（例如：公司在雲上有十個項目，發現2個項目的雲資源消耗金額遠小於項目的收入，可以考慮是否應該為這兩個項目投入更多的資源？發現有3個項目的投入產出比一直在擴大，考慮這三個項目是否該做些調整？）。這樣就可以幫助企業如何利用雲計算賺錢，而不是一味的追求省錢，充分發揮雲計算的價值，將潘多拉魔盒關閉。

於是，基於企業對雲上成本管理訴求的分析，總結如下：

看得見：讓企業理解自己的用量和成本
- 項目維度：具體到每一個項目/服務的成本
- 人員維度：具體到每一個組織架構/團隊/人員的成本
- 自定義維度：每一個自定義維度的成本（例如：某一具體雲資源的用量；多個團隊的成本聚合；不同時段的成本對比；成本趨勢圖等等）
用得省：提供建議優化成本
- 手段：雲上資源的付費類型、機型推薦，識別並清理閑置資源，定義預算告警等
- 策略：簡化配置優化動作和策略（例如：當機型不合適的時候提示用戶手動更換推薦的機型）
- 評估：不同手段的優化收益&風險（例如：對比新舊機型的價格差異；清理閑置資源時可能對波峰流量無法承載的風險）
- 自動化：自動化執行優化策略和告警
持續運營：持續基於商業策略優化成本
- 預測：預測未來的成本，預測通過手段優化后的成本變化
- 衡量：如何將成本與項目的 KPIs 結合，衡量項目的投入產出比
- 架構：如何將成本對應公司不同等級的組織架構
- 決策：如何利用洞察的指標幫助項目/公司做更好的決策

企業雲成本管理的問題已經拋出，是否有一種有效的手段可以完全的解決以上所有問題？

FinOps（Financial Operations）就是這樣的一種最佳實踐，幫助雲上客戶有效洞察雲支出、提供手段優化用戶成本、以及后續長時間的持續運營和優化。FinOps 涉及的領域：

理解雲支出和成本（對應企業成本管理問題的“看得見”，幫助企業理解成本構成）
- 回答這樣的一個問題：企業在雲上花費了什么？
- 收集有關雲使用和成本的所有必要信息，並將其分配到每一個人身上，理解團隊中每一個項目/人關於雲資源的使用情況
性能追蹤和基准測試（對應企業成本管理問題的“持續運營”，幫助企業理解自己的成本是否用的對）
- 回答這樣的一個問題：正在使用/支出的雲資源是否使企業能夠實現其戰略和組織目標？
- 設置其使用情況和成本並將其映射到預算中，使用歷史信息進行預測，並建立和衡量關鍵績效指標和其他績效指標。
實時制定決策（對應企業成本管理問題的“持續運營”，幫助企業做決策）
- 回答這樣的一個問題：采取什么行動來更好地實現企業的目標？
- 當企業了解支出，並了解相對於預期和標准的表現時，企業可以在收到新的雲支出信息時使用這些信息做出實時決策。
雲上支出優化（對應企業成本管理問題的“用的省”，幫助企業選擇更合適的雲資源）
- 回答這樣的一個問題：如何改變企業支付的費用模型（包年包月/按量付費/競價實例），以及如何購買在雲端使用的東西（應該選擇什么機型），以實現更好的價格目標？
- 利用歷史使用的數據調整定價模型，幫助企業選擇更合適的費用模型和機型實例。
雲使用的優化（對應企業成本管理問題的“用的省”，幫助企業更有效管理自己的業務）
- 回答這樣的一個問題：如何更改企業使用的雲資源方式，以優化成本？
- 管理業務工作負載、以及雲資源實例的數量，在不使用時關閉資源。
團結公司組織（對應企業成本管理問題的“持續運營”，幫助調整企業組織架構，以實現降本增效的文化）
- 回答這樣的一個問題：可以在企業的組織內進行哪些更改，來更有效地使用雲？
- 將 FinOps 與現有組織流程、組織單位和技術集成。

為什么是 FinOps？

FinOps 提出了非常詳細的雲上成本管理手段，包含下圖5中的理念、原則、涉及的人員的分工、成本優化的階段、涉及領域等。

FinOps 理念

FinOps 致力於通過一整套系統、最佳實踐、文化，幫助企業去理解雲成本，以實現更好的決策。

FinOps 原則

團隊需要合作（團隊主要包含：財務團隊、技術團隊、業務團隊）
雲的價值驅動了決策（幫助執行層洞察雲上消費的價值所在，輔助其做決策）
每個人都要為自己消耗的雲成本負責（將雲成本分攤到每一人身上）
FinOps 的報告應該是便於訪問的、且是實時的（報告應該及時、人人可訪問）
一個中心化的團隊驅動了 FinOps 的雲上成本管理理念（必須有一個全局觀的團隊將不同人員團結起來，使用 FinOps 的理念優化雲支出）
利用雲的可變消費模型（雲的消費模式有其特殊使用方法，好好利用才能充分發揮作用）

圖5：什么是 FinOps？

FinOps 的影響力

FinOps 基金會做了一個問卷調查，共收到 804 個回復，參與回復的企業總的年雲支出超過 300 億美元。超過 78% 的回訪者指出：FinOps Foundation 是雲上成本優化管理信息的最佳來源。

圖6：雲上成本優化管理的渠道

FinOps 全景圖

FinOps 基金會是Linux 基金會的一個項目，致力於通過最佳實踐、培訓、制定標准來推進雲的財務管理。 2019年2月成立 FinOps 基金會，2020年6月加入 Linux 基金會。目前 FinOps 基金會包括來自 1500+ 企業的 3500+ 個人成員，包括 10+ 服務和平台提供商。