什么是數據中台
數據中台是全新的架構變革。過去三十年,企業數據管理都以傳統的IT架構為基礎。每當技術部門為業務部門解決問題時,需要從業務需求的探查、技術壁壘的打通等從上到下各個方面來建設新系統。每個系統的建成都自成一體,各自滿足業務部門的需求。這種情況不僅耗費各部門大量的精力也使得各個系統難以打通管理,無法形成更強大的數據能力。
圖片來源:國雲數據
此外,目前的IT輔助管理系統是以歐美國家發達的制造業為奠定基礎的,其更多的功能是采集數據,各個系統數據孤立存在、煙囪林立。在今天新的產業互聯網時代,企業需要快速響應外部變化,建立多維度的數據以重塑DT的應用,因此傳統的架構並不適合現在的市場發展情況,數據中台的架構顛覆了過去三十年傳統的IT數據管理架構。
IT長不出DT。IT是CRM等軟件管理系統進行數據采集的信息技術,DT是基於IT產生的數據進行智能化應用的技術,前者以信息技術為主,后者以數據技術為主。IT作為傳統的數據管理架構是無法長出DT的。
如果以通俗化的生活案例來解說的話,數據中台的工作原理如同五星級飯店為滿足食客需求的工作過程。數據類似於大型飯店中所用的果蔬肉等基礎食材,CRM、ERP等管理系統將數據采集到,放到數據庫里。為滿足不同用戶(食客的用餐)需求,企業需要將數據庫中匯總的數據放到中央廚房以備業務人員(廚師)制作。數據放置的過程同步功能將數據分門別類,就像通過物流系統運送不同的食材到食材庫里,將食材按類分撥。同時,數據治理技術需要將數據清洗好,對於某些特殊要求的數據還需要深加工等。
圖片來源:Unsplash
通過以上處理方式,數據才能提供給業務人員或者技術人員使用,相當於將分類規整好、清洗好的食材交給廚師制作一樣。業務人員或者技術人員在使用時會根據不同的需求對數據進行組合搭配,即對數據進行建模。同理,廚師在烹炒時也會添加佐料、配方等,使菜餚更加美味。數據通過建模生成了不同的應用方向,再通過可視化將其進行美化,比如廚師的添油加醋等,最終為用戶(食客)呈現契合需求的應用產品(佳餚)。
在企業有了數據的“中央廚房”之前,某個方向的應用產品的生成需要從數據治理、清洗、建模等從頭到尾的流程都做一遍,只形成了這款產品的加工鏈,其他方向的數據沒有實現同步、清洗,從而打通,煙囪式的壁壘由此產生。當另一用戶的業務需求與之前做的產品應用方向有重合時,仍然需要從頭再做。
在IT管理系統時代,這樣漫長的周期為三到六個月,且過程中不能有太多的變更,也就是說用戶不能根據業務變化隨時調整。這樣的應用研發不僅進度周期長,而且重復建設某些共性的功能,通用性功能無法沉淀,某些能力無法實現共享,最終造成企業資源和成本的浪費。
如今,若企業建立一套完整的數據中台體系,相當於建立了從物流系統、倉儲系統等一體化的中央廚房系統。該體系將食材加工裝配好,業務人員可以直接按需“下單”,定制化應用立即生成。可見,數據中台可為最終的用戶,比如業務人員(廚師),比如用戶(食客)提供成本低、靈活度高的業務處理平台。如果某個應用受到用戶熱烈歡迎,可以依靠數據中台多元化、共享的功能為其提供持續性地服務。如此,企業可以依靠強大的數據中台服務能力提升競爭力,保持市場有利地位。
數據中台是能力共享平台。如今,很多產品應用研發初始都在強調功能性,各個功能存在或多或少的重復性。然而企業對這些產品功能的定義並不相同。當客戶產生某些需求時,由於定義的不同,產品功能和功能間的數據很難打通,也無法實現能力共享。
在數據中台基礎上的應用開發並不強調功能性,更注重能力的共享。這種能力就像水電煤一樣可以直接向外輸出使用,從而滿足業務部門和用戶的不同需求。
數據中台是有機的一體化平台。數據中台是包含模型資產、應用資產、工具資產、技術資產為一體的賦能平台,並不是純技術概念。數據中台不只是輸出技術能力,數據能力、資產能力、應用能力以及制度能力等也是中台的價值輸出。數據中台的核心點在於賦能業務部門及用戶,以應用為出發點,快速響應外部的需求,幫助業務部門產生業績,形成業務增長。
數據中台是新一代的數據架構思路,其工作原理是以應用為出發點,進行數據整合,最終呈現的結果是數據應用的平台。隨着未來科學技術愈發先進,人們的需求千變萬化,各種應用的產生也就順其自然,而以純技術為導向的數據中台很難快速響應外部應用需求。
數據中台是一種端到端的技術平台,而不是一堆API的接口,其更注重業務端的使用和業務價值的體現。傳統API能力輸出模式無法滿足企業應用產品多變的需求,其需要中間層的技術轉化,無法快速、高效地產生應用。傳統企業搭建數據中台,如果僅完成了API接口的創建,僅僅是完成了數據中台建設的其中一環。因此,數據中台並不是端到端的技術賦能平台。
可見,數據中台的建設需要業務部門靈活的應用需求,技術部門強大的數據治理、數據建模等能力,以及公司各個部門和資產的多維配合。它是集業務、技術和公司資產的有機結合體,並不是片面的模塊的組合體。
數據中台是一種新的技術建設思路。數據中台作為一種新的建設思路,打破了企業以前傳統的功能式和集成式的建設思路。企業以前產品打造的過程先依靠工程師搭建基礎技術架構,架構搭建完成后再添加應用功能。這種建設思路比較適合產品模式穩定的企業,對於應用需求多變、應用出發點無法一時統一的公司來說並不是最佳的選擇。這種因為工程或者基礎設施建設出的產品最終會無法為業務部門提供更多價值。因此,以應用為核心思考點的建設思路才是企業保持長久生命力的關鍵,而數據中台的建設將幫助企業改變傳統的產品應用建設方式。
在過去,傳統企業為提高管理效率會部署CRM、ERP等多種管理系統,這種管理系統在企業管理基礎數據,簡單分析業務等方面為企業主運營決策提供了一定的參考價值。但是,當企業外部需求越來越多變,企業管理系統僅僅進行簡單的數據采集是無法滿足市場需求的。
企業主通過將多個管理系統的賬號打通,並增設各種分析工具等來加強管理,這種集成式的建設思路仍無法真正賦能業務對象。數據應用多樣化,大量的臨時的、即時的、分散的需求不時產生,數據模型需要根據業務重點經常調整,企業主僅僅通過聯通各個管理系統賬號是無法響應需求的。
多個管理系統和分析工具的集成雖然為企業主解決了部分問題,但是各個系統產品的建設思路不一致,產品與產品間既有重疊功能,也有邊界划分,且產品之間定義並不相同,無法形成統一的、無縫結合的數據資產。產品與產品之間的技術出入會導致應用的出錯,最終影響用戶對產品的信任。由此,集成式的建設方式給技術部門形成巨大的維護成本和治理成本,並沒有達到數據中台建設的真正目的。
數據中台的基本能力
數據中台具有數據服務的能力。數據中台幫助業務部門建立工作台,通過工作台可以快速獲取到數據相關服務,包括數據提取、數據分析、數據推送、數據回流等服務;數據中台可以將臟亂差的數據進行加工、治理、切分、建模、打標簽等。
數據中台可以使業務人員具備數據應用開發的能力。業務人員可以根據自己業務單元的需求,做深度的應用開發,比如精准、智能、智慧等相關應用,這些應用可以獨立變成產品。
數據中台具有強大的海量數據處理能力。數據中台對數據治理能力、融合能力、采集能力、同步能力等為數據應用提供了強大的基礎支持。無論企業生產、運營、消費者溯源、供應商維護、外部公共數據等不同維度的數據,數據中台都可以通過不同的功能實現數據的打通、共享。
由於不同的業務場景需要不同規模的計算平台來處理海量數據。數據中台的建設幫助業務人員根據應用需求隨時調度計算能力。
數據中台具有數據開發的能力。數據中台中分析工具、挖掘工具、清洗工具等不同數據工具的設置可以幫助上下游企業和外部用戶直接開發應用。數據中台可以將上下游工具進行傻瓜式包裝,比如應用開發、應用復制、應用使用、應用評價、應用分享等功能的設置,幫助企業不同領域的用戶實現數據共享、應用共享。
數據中台具備自學習和自動完善的能力。數據中台賦能業務人員的特性決定了其具有自學習的能力。中台可以通過不斷的能力疊加,將數據和公司資產進行良性的循環和回流,賦能企業業務和技術部門,為企業建成一個具有滾動的、增長的、變化的自學習能力平台。
數據中台具有資產沉淀能力。用戶在使用數據的過程中會自動地沉淀出高價值的數據,通過數據中台的融通能力,將這些有價值的數據進行良性的循環與回流。企業因此對自身的用戶數據、會員數據、人力數據等認識加深。這樣的沉淀能力可以為公司提高核心競爭力。另外,公司內部高價值的資產,比如模型資產、IT資產、DT資產、數據資產、應用資產,以及應用資產中的用戶資產、畫像資產等均可以通過中台沉淀下來,為公司日后的應用提供更多的支持。長期以往的沉淀幫助公司建立核心競爭力,使企業在數字化轉型中先行一步,快速布局數字化市場競爭。
數據中台具有數據質量自動跟蹤的能力。數據在使用過程中往往有多部門多角色參與,各個部門會定義多種多樣的數據指標、標簽和使用方式,長期以往數據治理體系將會越來越復雜。一旦數據無法跟蹤,會導致前端的數據應用出錯,最終使得企業決策失誤,付出較大代價。數據中台可以避免以上問題的出現,數據質量智能追蹤和血緣分析會跟蹤數據的血緣系統,確保數據質量。
數據中台具備數據融合打通的能力。隨着企業業務多變,數據互聯互通變得越來越重要。數據中台將數據定義和意義保持一致,使數據真正實時打通。
數據中台具有IT系統和DT系統風險隔離的能力。IT系統在企業數據采集、管理方面發揮着作用。業務需求變化快,而IT系統卻無法隨着DT系統變化,DT系統有着自身存在的意義。兩個系統的目標、定位不同,必然導致數據應用出現分歧。數據中台的建立可以幫助企業對數據進行風險隔離,確保一方不影響另一方。
數據中台應用方式
數據中台應用方式一為幫助業務部門靈活使用數據分析。數據中台改變了以往業務部門數據分析技術能力不足的窘況。在數據中台出現以前,業務部門因為技術能力的缺乏,面對分析需求時只能借助技術部門的輔助。中間經業務部門、技術部門、分析部門等各部門的溝通與配合在耗費了大量的時間成本和溝通成本的情況下,也耽誤了技術部門做更有價值的項目的機會。
數據中台打破了數據的復雜格式,使得數據實現共享,在數據分析技術方面為業務部門開通了綠燈,業務人員可以自由地進行數據分析。
數據中台應用方式二為幫助技術單元和業務單元,甚至外部單元靈活地創建應用。企業內部技術部門、業務部門,甚至外部供應商等第三方也可以基於數據中台完成應用的創建。數據中台幫助企業搭建行業生態共享平台,造福企業內外部人員及上下游企業客戶。
數據中台應用方式三為技術部門可以不斷構建應用能力,沉淀數據資產和價值資產。數據中台使業務、技術、公司資產實現了打通、合並、共享,數據資產的形成使技術部門可以形成持續的應用開發能力。反之,推陳出新的應用產生的數據又為新應用的誕生提供了肥沃的土壤,雙方形成閉環。
數據中台的建設內容
數據中台在SaaS層、DaaS層、PaaS層、IaaS層具有不同的應用內容。
SaaS層:從技術角度講SaaS層是業務用戶或技術用戶直接可以使用的服務和功能,包括數據分析工具、數據挖掘工具、可視化工具、清洗工具、建模工具等不同的數據工具;還包括不同層次的數據應用,如大屏可視化應用、決策分析系統、用戶畫像系統、精准推薦系統、AI應用等。
DaaS層:用戶可以通過DaaS層獲取數據直接的服務。最常見的服務有客戶數據獲取、原始數據治理服務、原始數據和IT數據互聯互通服務、數據質量監控服務、數據關系分析服務等。
PaaS層:該層具備更深度的能力,主要向公司內部數據治理團隊、數據團隊和技術團隊提供服務。基於PaaS層可以構建出更優良地DaaS層和SaaS層。這層要與基本的數據治理、清洗、建模、模型管理、模型共享、應用開發、應用發布等工具和能力有所區分。在該層有很多調度PaaS的能力,包括同步系統、調度系統。
IaaS層:主要解決數據計算資源和存儲資源等基礎的能力,包括大數據集群計算、分布式計算、數據庫等計算資源。該層可對流失計算、數據調度系統和計算資源進行存儲。該層具備數據最基本能力,包括數據安全等。該層可以幫助用戶從IT中獲取能力,又能產生DT的應用,同時又能回流到IT里面支撐IT發展,滲透到IT業務環境中,提高企業業務能力。(注:由於篇幅有限,數據中台各個技術模塊將后續補充)
文章由國雲數據原創,轉載請注明出處。