Snowflake已於2020年9月16日正式上市,市值超過700億美元。該公司成立於2012年,致力於為企業提供數據雲平台,幫助客戶打破數據孤島,方便企業運用和分享數據,並從中獲得數據價值和商業洞見。Snowflake提供的產品技術服務在國內更多被稱為數據中台。當然,它獨特的技術優勢是獲得資本親賴的原因之一。
雲端原生性
Snowflake提出了data-warehouse-as-a-service(DaaS)的概念,可以簡單理解為原生於雲端並專注於數據倉庫的SaaS服務。Snowflake的雲端原生性,和很多數據倉庫提供商支持雲端服務並非同一概念。其他雲服務巨頭,例如Oracle,Teradata,Netezza,盡管或多或少支持雲端,因為本身產品架構的局限性,他們常常被證明並不能良好地解決很多現代企業面對的各種數據需求與問題。
獨特的底層架構
Snowflake提出了獨特的存儲、計算以及管理服務分離的架構。Snowflake在Shared-nothing的基礎上提出了Multi-cluster, shared data的概念。這種架構的關鍵在於將存儲和計算徹底分離,從本質上解決了傳統架構的痛點。
從存儲層來看,Snowflake將所有表自動划分為接近固定大小的micro-partition,用以支持更加高級的time travel和data sharing功能。即使對數據庫進行了clone,在邏輯上有了兩個數據庫,而底層的存儲仍然只有一個版本。從計算層來看,Snowflake用T-shirt尺寸定義了算力,相比較其他雲計算資源,極大地簡化了provision的過程。用戶可以隨時提高或降低計算資源來應對需求,而且這些不同計算資源看到的數據都來自同一版本。從服務層來看,是另一個我認為Snowflake服務層非常獨立。它由眾多global services組成,涵蓋operation management,optimization,tuning,security,availability,metadata,caching等任務。它解決了數據倉庫易用性的問題,大大降低了需要的管理和運維成本,是其他競爭對手所不能比擬的。
技術上堅持中立、開放原則
在美國,亞馬遜AWS、微軟Azure、谷歌雲是雲服務巨頭,他們競爭力強,平台生態完善,基礎設施規模龐大,客戶資源豐富,而Snowflake打通這些公有雲平台,提供中立性、按需付費的服務,在數據遷移與共享等方面,為客戶提供更大靈活性。堅持數據共享開放原則,將數據提供商、合作伙伴和客戶聯合起來,采用平台的客戶越多,就可以與其他客戶、合作伙伴和數據提供商交換更多的數據,提升平台對所有用戶的價值。
在國內,有沒有類似Snowflake的公司呢,實際上在國內類似產品更多被稱為數據中台,而且2019年是國內數據中台的元年,近期我們發現國內有家面向數字化轉型落地的公司成立7年以來一直在打造數據中台產品,這家公司叫國雲數據。最近國雲數據創始人馬曉東接受了億歐網等媒體的采訪並對標其數據中台為中國版的Snowflake。國雲數據提供的數據中台在技術方面與Snowflake很類似。
該數據中台源於阿里頂級技術架構,但卻不與任何雲平台、數據工具或者是數據庫進行綁定,而且可兼容對接客戶自有的業務系統,無需推倒重來,從而節省企業成本,提高業務運營效率。數據中台支持基於中台向上做應用的二次開發,實現技術、業務、管理等人員聯動使用的同時又保障了客戶的使用安全、數據安全。此外,國雲數據與Snowflake一樣,在數據中台規划之初就運用雲原生技術,存算分離,讀寫分離技術,歷經7年優化升級,已經做到極致。
隨着企業數字化轉型加劇,在國內的與Snowflake類似的數據中台產品層出不窮,數據中台已成為熱門賽道,未來市場容量在千億級,我們也期待着中國的Snowflake早日迎來敲鍾之日。