簡介: 雲原生是一種新型技術體系,是雲計算未來的發展方向。今天,阿里雲李飛飛將和我們分享何為雲原生、雲原生如何與分布式有機結合,以及雲原生技術如何幫助客戶邁入數字原生時代。
作者 | 飛刀
來源 | 阿里技術公眾號
雲原生是一種新型技術體系,是雲計算未來的發展方向。今天,我來談談何為雲原生、雲原生如何與分布式有機結合,以及雲原生技術如何幫助客戶邁入數字原生時代。
李飛飛,阿里巴巴集團副總裁,ACM傑出科學家,阿里雲數據庫產品事業部負責人,達摩院數據庫與存儲實驗室負責人。
一 雲原生:從小池塘到江河大海
雲原生數據庫在海外被稱為「Cloud-Native Database Systems」,前面譯成中文就是「雲原生」,理解雲原生先要理解兩個關鍵詞——「雲」和「原生」。
在傳統數據庫的系統架構下,必須是緊耦合的設計方式,才能最大效能地發揮系統的優勢。舉個生活中的例子,過去每家每戶會根據用水量打一口水井使用,這與傳統的數據庫系統使用計算、存儲資源的方式一樣,但它是緊耦合的方式。如果水不夠了怎么辦?對應的,這就是傳統數據庫系統里經常提到的業務擴容。在金融行業,數據庫系統擴容通常需要提前幾個月甚至半年去做規划,進而細致部署、縝密實施,上線——灰度——再驗證,一整套流程就是為了擴容、縮容。傳統擴容過程非常漫長,而業務高峰過后縮容也很痛苦,往往會造成極大的資源浪費,也很難應對業務層需要的快速變化能力,這是傳統架構非常大的弊端之一。
如果清楚這些概念和背景就很好理解雲原生了。「雲」就是使用虛擬化的技術將資源池化。水是資源,不用緊耦合的方式來部署和使用,不用家家戶戶打水井,而是整個村庄聯合起來“打”一個湖或池塘,再修管道連到各家各戶,這就是資源池化。資源池化以后可以做到按需按量使用,彈性調度,甚至還可以將資源進行解耦,比如,將廚房當作一個計算節點,水當作存儲節點,可以隨時切換,如果這個廚房不夠了,通過系統調度,可以快速拉起另外兩三個廚房做計算。這就是雲原生核心邏輯,將不同類型資源解耦,並進行池化。讓原來的一口口獨立水井,在背后合並成一個看不見的江河湖海。具體的,比如在雲原生的計算存儲分離架構下,業務節點可以根據需要自由的對計算、存儲進行快速的擴縮容等操作。
可以看到,雲原生帶來的本質性變化就像水井和池塘,隨着池塘不斷變大,越來越多應用遷移上雲,池塘不再是池塘,而變成了江河大海。雲原生帶來的最大技術紅利以及經濟紅利就是規模化應用后帶來邊際成本下降效應,因此向雲原生技術演進的趨勢自然發生並且非常清晰,無論用公共雲還是專有雲私有化部署。這個邊際成本下降效應體現在產品上,客戶就會因此受益,TCO也一定會下降。
二 數據庫的未來:雲原生+分布式
全球知名咨詢公司Gartner指出,雲將主導數據庫市場的未來,到2022年,75%的數據庫將被部署或遷移至雲平台,只有25%的數據庫會在本地運行。雲化無疑代表了未來,企業如何在雲原生架構下使用數據庫,就成為必須要思考的問題的。
隨着企業業務全面向數字化、在線化、智能化演進,企業面臨着呈指數級遞增的海量存儲需求和挑戰,業務有更多的熱點和突發流量帶來的挑戰,企業需要降本增效,進行更智能的數據決策,傳統的商業數據庫已經難以滿足和響應快速增長的業務訴求。
在架構創新上,我們將雲原生與分布式結合起來,全新的雲原生分布式架構的數據庫具備了高擴展性、易用性、迭代快速、成本降低等特點,可以很好的幫助企業解決上述問題。未來數據庫也將全面進入雲原生加分布式的時代。具體來講:
1 高擴展性
雲原生分布式數據庫與底層的雲計算基礎設施分離,所以能夠靈活及時調動資源進行擴容縮容,以從容應對流量激增帶來的壓力,以及流量低谷期因資源過剩造成的浪費。生態兼容的特點,也讓雲原生數據庫具備很強的可遷移性。
2 易用性
雲原生分布式數據庫非常易於使用,它的計算節點在雲端部署,可以隨時隨地從多前端訪問。因其集群部署在雲上,通過自動化的容災與高可用能力,單點失敗對服務的影響非常小。當需要升級或更換服務時,還可以對節點進行不中斷服務的輪轉升級。
3 快速迭代
雲原生分布式數據庫中的各項服務之間相互獨立,個別服務的更新不會對其他部分產生影響。此外,雲原生的研發測試和運維工具高度自動化,也就可以實現更加敏捷的更新與迭代。
4 節約成本
建立數據中心是一項獨立而完備的工程,需要大量的硬件投資以及管理和維護數據中心的專業運維人員。此外,持續運維會造成很大的財務壓力。雲原生分布式數據庫以較低的前期成本,獲得一個可擴展的數據庫,實現更優化的資源分配。
三 “大數據與數據庫系統的一體化”新時代
目前,數據庫領域有幾大核心發展趨勢,除了上述提及的雲原生和分布式技術的融合,還有大數據與數據庫一體化,包括HTAP以及離在線一體化;智能化技術深度融合,即自感知+自決策+自恢復+自優化;Multi-Model多模;軟硬件一體化,充分發揮新硬件的優勢;安全可信技術,即可驗證日志、數據隱私保護與安全多方計算+全鏈路加密。
在數據分析領域,企業亟需高效解決海量數據深度計算分析,下一代數據分析演進方向應該是“以雲原生為基礎,離在線一體化技術融合,實現數據庫大數據一體化”。“數據庫大數據一體化”的雲原生數據分析系統能夠很好的提供彈性擴展、海量存儲、多種計算及低成本等能力,有效解決海量數據深度計算分析的業務分析和創新訴求。
“數據庫大數據一體化”也是業界近年的發展趨勢。Gartner “There is only one DBMS Market”報告指出,過去根據業務場景按照分析型和交易型需求,需要獨立發展OPDBMS(事務處理)和DMSA(管理與分析),而未來分析型和交易型數據操作對技術架構依賴性會更小,將不再需要獨立區分OPDBMS和DMSA,通過一體化的數據處理技術即可滿足大多訴求。
從技術架構演進過程來看,2003至2006年,Google發布了關於Google File System、MapReduce和BigTable三篇海量數據存儲、處理技術論文,奠定了今天大數據的整個技術生態圈的基石。2012年至今,隨着雲計算的發展,雲計算的資源池化、存儲與計算彈性擴展等基礎設施升級,以及計算存儲分離、在離線一體化等技術創新,促進了數據處理開始朝一份數據開放計算、存儲計算分離的雲原生方向演進,誕生了如Snowflake、AWS Redshift、AWS Aurora、AWS Athena為代表的新一代雲原生數據庫、數據倉庫、數據湖,加速了數據處理向在線化、在離線一體化、結構化與非結構融合處理演進,加速業務走向數字化、數智化創新的新形態。
綜上所述,我認為“數據庫大數據一體化”的數據分析系統應具備幾個特點:雲原生;一份存儲多種計算;海量存儲,支持結構化、半結構化及非結構化數據庫的存儲及計算;全面兼容數據庫生態。
四 雲原生時代,中國數據庫的歷史新機遇
在剛剛過去的2020年,Gartner公布了年度全球數據庫魔力象限評估結果,Gartner將OPDBMS(事務性關系型數據庫)與DMSA(大數據管理與分析)合二為一成為新的Cloud DBMS Market(統一的雲數據庫系統市場),故這次的評比更加全面,也代表了“雲”的發展趨勢。阿里雲挺進全球數據庫第一陣營——領導者象限,這是中國數據庫歷史上重大突破,也是中國在基礎軟件行業首次成為Gartner魔力象限的全球領導者,代表着中國技術正日益走向國際舞台,並日漸成為這個舞台中的佼佼者。正如Gartner分析師所說:“阿里雲擁有豐富的數據庫種類和完善的產品布局,為用戶提供多種關系型、分析型和非關系型數據庫產品,還提供混合雲環境部署,同時集成備份、數據遷移與同步等能力,最重要的是,阿里雲有非常強大的技術實力與創新能力。”
在OLTP領域,阿里雲提供核心的雲托管數據庫服務RDS,以及雲原生關系型數據庫 PolarDB以及分布式版PolarDB-X。阿里雲RDS具備智能化、安全可信、簡易運維、高可用、高性價比等多種特性。PolarDB是國內首個雲原生關系型數據庫,也是國內首個基於存儲與計算分離架構雲原生數據庫,已全面應用於零售、電信、物流、金融等多個行業;PolarDB-X基於雲原生分布式一體化架構設計,可支撐千萬級並發規模及百PB級海量存儲,在阿里巴巴線上核心系統廣泛使用,連續多年穩定支撐天貓雙11,在1秒鍾內系統負載增加了145倍情況下依然保持穩定。在OLAP領域,阿里雲推出了新一代雲原生數據倉庫AnalyticDB以及雲原生數據湖分析Data Lake Analytics;AnalyticDB是新一代雲原生數據倉庫,獲得了TPC-DS/TPC-H官方認證的優異成績,支撐國稅、郵政、上海城市大腦等超大規模客戶。在NoSQL領域,阿里雲推出了雲原生多模數據庫Lindorm和雲原生內存數據庫Tair。除此之外,我們還構建了企業級數據庫生態工具產品體系,以及雲原生智能化數據庫管控平台。
阿里雲正在構建一個日益完整的雲原生數據庫產品體系,讓客戶在這個生態體系中用數據庫的方法解決諸多數據處理、存儲分析、計算所面臨的挑戰和問題,這不僅是阿里雲數據庫的基本出發點,也是客戶學習曲線最低,應用成本最低的一種方案。未來,我們會始終堅持以客戶需求為核心,從客戶視角出發,堅持客戶第一、創造客戶價值,將更多研發力量投入到解決客戶痛點的產品上,讓技術創造新商業。
原文鏈接
本文為阿里雲原創內容,未經允許不得轉載。