銀行大數據新玩法,構建“一湖兩庫”金融數據湖


摘要:煙囪式的數據平台建設導致“數據孤島”,“一湖兩平台”的金融數據湖讓大數據發揮最大的業務價值。

大數據技術經過近幾年的快速發展,在企業數據中心的基礎設施上已不鮮見,尤其是金融行業,大數據技術應用一直走在其它行業前面,它們在以數據湖、融合數倉、湖內數倉(Data LakeHouse)等一些典型的技術場景中,逐步將大數據生態技術應用到金融企業的風險控制、運營管理、信貸查詢、信用卡征信和財務分析等領域。

另一方面,大數據雲服務化已經提了很多年,但是目前多數大數據平台的服務能力依舊很弱,很多企業的大數據平台僅承擔跑批業務,除了IT崗位的用戶之外,其它的業務崗位根本感受不到大數據的存在,更談不上通過從大數據技術設施得到業務的收益。

其本質原因是大數據基礎平台軟件並不具備雲服務化的基礎能力。

大數據雲化,提升數據投資回報率

大數據的各個組件成為一種服務化的形態,主要是將一個大數據中心的服務能力進行虛擬化,多個用戶群體可共用服務能力,單個用戶群體有類似獨占的使用體驗,而且隨着用戶群體規模和類別的增加,資源可以輕量化彈性伸縮,自動發放與回收,底層基礎架構的耦合比較輕,甚至解耦。

在這種架構下,用戶的需求,可以更快地被響應和實現。

因為雲原生技術可以有效地縮短應用交付的周期,讓需求更快落地,最終為用戶服務,動態實現價值。

所以,一個本地建設的大數據中心往往需要大量的資金、人力的投入,為單個用戶群體建立專用中心是不現實的,因此大數據服務的雲化在這些場景很有價值,也可能是必須的選擇。

在當前的雲計算產業商業模式下,未來金融企業的大數據基礎設施向公有雲或者混合雲部署模式轉變成為必然,隨之而來的是用戶對雲服務提供商的合規和信息安全的要求會進一步提高。

當大數據被賦予雲原生的含義后,大數據的真正業務價值才會逐步綻放,大數據固定資產投資才能真正變現,從而讓更多的領域從大數據中獲益,全面提升大數據的投資回報率。

某行大數據服務雲BDSP案例

煙囪式的數據平台,導致“數據孤島”

全行各業務線數據量不斷增加,業務側對數據需求非常迫切,舊有的模式是業務提需求給開發中心,開發中心安排開發資源管道,大量的需求積壓,甚至由於開發周期太長導致需求已經沒有了實際意義。

另外行內煙囪式的數據平台建設導致“數據孤島”,給開發人員帶來大量的數據拉取和整合的工作量。耗費了大量的人力物力以及時間,還導致了業務側的投訴和抱怨,工作效率嚴重滯后。從投資成本來看,業務倒逼IT的煙囪式的數據平台的投資建設,耗費了龐大資金和人力投入,協同效能的提升問題凸顯。

數據按照業務歸入“一湖兩庫”

通過引入華為雲EI智能數據湖FusionInsight提供的MRS+DWS大數據雲服務化產品,將行內的基礎數據需求按照業務划分為數據湖、數據倉庫和集團信息庫,即“一湖兩庫”為核心,通過不同的數據處理手段將數據持久化;通過華為MRS和DWS產品提供的組件將主流的數據處理引擎集成在大數據服務雲平台中;再將這些數據服務以租戶渠道方式作為接口開放,例如“數據集市”、“損益預查詢”,最后用戶通過自助或者固定的應用服務渠道來獲得大數據服務,如“分析師工作台”。

平台全部嘗試采用全國產化技術,基於ARM技術服務器和華為MRS產品構建了1000+節點的大數據雲化服務集群。

在行內的大數據服務雲場景中,真正提供服務核心的是一個全行共用的大數據基礎平台(MRS+DWS),使用服務的是多個不同的用戶群體,各用戶群體以租戶形式互相隔離(租戶渠道層),單個租戶在限定的范圍內使用大數據的服務。

如上圖,大數據服務雲平台提供用戶自服務的渠道,例如風險計量或者分析師工作台。用戶自行管理租戶資源池內可用的資源、數據等內容。在使用過程中平台提供用戶的驗證、訪問的管控、審計,對資源使用的計費等衍生問題的處理。

最后

將大數據基礎平台在雲化基礎設施上的部署,使得大數據系統降低了建設、部署、運維等環節的投入,體現在在多個租戶間平攤大數據中心的建設、運維成本,提高大數據中心的使用效率。

而且基於存算分離的架構部署,有效的節約了存儲成本,真正做到資源的“按需分配”。

對於單租戶,省去了維護大數據系統帶來的龐大資金和人力投入,使得大數據系統降低了建設、部署、運維等環節的使用門檻,助力普通員工輕松使用大數據應用。

華為雲828企業上雲節將帶來更低的雲上部署成本,你還在等什么?

 

點擊關注,第一時間了解華為雲新鮮技術~


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM