摘要：華為雲FusionInsight MRS的大數據存算分離解決方案，實現資源價值最大化，存儲與計算資源全面雲化、靈活配置、彈性伸縮，降本增效。
在大數據、雲計算、5G、AI等技術日新月異，數字經濟加速發展的背景下，數據成為新的生產資料，數字化轉型成為政企高速發展的關鍵。作為數字化轉型的先行者，金融行業利用大數據平台進行客戶體驗提升、精准營銷等業務。這些大數據平台在金融行業業務中發揮着至關重要的作用，但龐大的數據量也給他們帶來了新的挑戰，企業在大數據平台的建設及擴容方面每年均保持着一定規模的投入，降本增效的矛盾在發展過程中進一步被放大；海量數據驅動業務敏捷響應，傳統大數據平台從建設到落地的長周期，不利於業務的高速發展；平台建成后，維護、升級、擴容均以集群為單位，管理離散，操作繁重。
傳統大數據平台建設采用存算一體的架構建設，在進行擴容時計算、存儲資源會同步擴充，在部分場景下造成了資源冗余，利用率偏低。基於此，中國工商銀行（以下簡稱工行）聯合華為雲FusionInsight MRS落地大數據存算分離解決方案，實現資源價值最大化，存儲與計算資源全面雲化、靈活配置、彈性伸縮，降本增效。
存算分離實現成本降低60%
工行大數據平台批量業務普遍采用存算一體架構，原始數據、數據表、導出數據均存儲在本地HDFS，在現網部分批量集群中，CPU利用率50%，而存儲利用率超過70%。
工行采用了華為雲FusionInsight MRS大數據存算分離方案，實現了大數據平台與OBS對象存儲服務的對接，將原有的HDFS數據無縫遷移到OBS上。在保證性能的前提下，實現了計算與存儲獨立按需擴容，輕松應對業務浪涌，提升資源整體利用率。
大數據存算分離演進示意圖
此次實踐不僅實現了計算與存儲資源的按需擴容，還在存儲、計算和易用性方面做到了最優。
存儲方面，工行原有大數據平台使用HDFS存儲數據，1:3的備份方式使得較多存儲空間被消耗，華為獨有的Flex-EC技術可將副本率降低至1:1.25，存儲資源優化提升2.4倍。在雲存儲性能上，單流性能達到300MB/s，為業界的3倍+。
計算方面，華為雲基於存算分離的大數據解決方案進行軟硬件垂直優化，充分利用自研處理器的高並發能力，提供芯片級的全棧自主優化能力，使用華為自研的操作系統EulerOS、華為JDK及數據加速層，充分釋放硬件算力，為大數據計算提供高算力輸出，實現高性價比。在性能相當情況下，端到端的大數據解決方案成本下降。
易用性方面，華為雲OBS實現了原生POSIX語義，並補充了Append，hFlush/hSync、HDFS垃圾桶機制，rename原子操作性能，大幅領先業界同類產品。這些都使得用戶可以平滑、無感知的從原有平台切換到存算分離平台。
集群快速發放，業務敏捷上線，運維省心省力
傳統大數據平台的群部署，依賴 “硬件->操作系統->組網->大數據平台”的部署模式，部署周期以周粒度計算，並涉及多個業務部門協同操作。針對擴容、業務遷移和后期運維，也是“一集群一方案”的操作模式，工作量大，物料和人工成本都偏高。
工行聯合華為雲部署的存算分離大數據解決方案，全面兼容主流的大數據生態，100%兼容開源原生接口，結合周邊豐富的數據及應用遷移工具，基於MRS WrapperFS的特性，提供OBS的翻譯能力，兼容HDFS到OBS的平滑遷移，快速完成大數據平台的平滑遷移至存算分離架構，整個遷移過程做到“代碼0修改，業務0中斷”。
雲端集群快速發放特性，可以實現小時級集群發放，提升效率數10倍，同時具備后台、前台和API接口三種任務提交模式，快速對接業務。針對后期擴容、運維場景，通過統一的運維管理平台， 對多個大數據集群進行集中運維管理，並能夠實現資源的彈性伸縮和靈活擴容。
總結：
中國工商銀行大數據平台全面構建在IaaS雲之上，本次華為與工行聯合創新借助新一代華為雲底座進行存算分離架構試點工作，全面驗證了全新架構下的產品功能、技術水平和性能狀況，全方位評估存算分離架構的優缺點，總結經驗，積累技術實力，為后續工行大數據平台演進至下一代“存算分離”與“存算一體”協同混合架構打下堅實基礎，並為金融業大數據平台架構轉型提供成熟解決方案。
本次存算分離實踐順利實施標志着工行首次完成大數據體系由存算一體架構向“存算分離”與“存算一體”協同混合架構的轉型工作，全新的架構具有性能與成本最優，兼具靈活性、雲化集約管維的特點，能夠有效地支撐中國銀行業智慧化轉型，同時為全國金融同業大數據平台架構轉型實施提供參考。
本文分享自華為雲社區《華為雲FusionInsight MRS在金融行業存算分離的實踐》，原文作者：Sailing27 。