銀行數據倉庫體系實踐(3)--數據架構 狹義的數據倉庫數據架構用來特指數據分布,廣義的數據倉庫數據架構還包括數據模型、數據標准和數據治理。即包含相對靜態部分如元數據、業務對象數據模型、主數據、共享數據,也包含相對動態部分如數據 ...
銀行數據倉庫體系實踐 銀行數據倉庫簡介 大家好,我是leo,一個ITer,在銀行從事系統開發多年。對銀行系統架構特別是數據倉庫 ODS等數據類系統有一定的經驗積累,准備將之前的一些經驗整理成文,一來為自己工作做個總結梳理,二來也希望能和大家互相討論,共同學習,探討新技術 新架構以及趨勢。以下是第一部分簡介。 銀行數據倉庫簡介 數據倉庫之父比爾 Bill Inmon 在 年出版的 Building ...
2020-10-13 14:55 0 775 推薦指數:
銀行數據倉庫體系實踐(3)--數據架構 狹義的數據倉庫數據架構用來特指數據分布,廣義的數據倉庫數據架構還包括數據模型、數據標准和數據治理。即包含相對靜態部分如元數據、業務對象數據模型、主數據、共享數據,也包含相對動態部分如數據 ...
數據轉換作業主要是指在數據倉庫內的結構化數據批量加工,對於非結構化數據以及在線查詢接口、數據流的開發主要是遵循代碼開發規范以及各中間件的開發規范,如使用java來開發遵守java開發規范,使用Kafka需要遵循Kafka的使用和設計規范。同時做好組件的設計,提高復用程度和開發效率。這里就不再贅述 ...
在銀行主題模型中,每個數據倉庫的實施公司會有金融行業或銀行業的主題模型,這個模型會根據新的業務不斷進行完善,是各實施公司的業務經驗積累。一個良好的模型對數據倉庫的實施起到了事半功倍的效果,雖然不同的公司會有不同的主題模型產品,但每個公司的產品基本上分為以下幾個主題: 1、當事人(PARTY ...
銀行數據倉庫的建設目標與建設路徑分別是什么,接下來將分為三個章節去闡述。 銀行數據倉庫畫像 互聯網對於傳統行業的沖擊是全方位的,無論是百貨、商場、菜市場等零售行業,還是銀行、財務公司等金融行業,都對其經營模式進行“降維打擊 ...
數據倉庫管理着整個銀行或公司的數據,數據結構復雜,數據量龐大,任何一個數據字段的變化或錯誤都會引起數據錯誤,影響數據應用,同時業務的發展也帶來系統不斷升級,數據需求的不斷增加,數據倉庫需要不斷的升級和維護,才能保證為全行提供持續完整准確的數據服務。所以數據倉庫基本上是全行或全公司版本最多的系統 ...
數據倉庫作為全行或全公司的數據中心和總線,匯集了全行各系統以及外部數據,通過良好的系統架構可以保證系統穩定性和處理高效性,那如何保障系統數據的完備性、規范性和統一性呢?這里就需要有良好的數據分區和數據模型,那數據分區在第三部分數據架構中已經介紹,本節將介紹如何進行數據模型的設計。 1、各數據分區 ...
數據倉庫作為全行數據中心能高效支持全行或全公司的統計 、數據分析工作,除了穩定的ETL架構、高效的數據處理能力,流暢的開發管理流程,還需要有全面的數據管理體系,確保提供的數據准確性和高質量。數據管理主要有數據標准,元數據和數據質量3方面。那數據治理是指對沒有規范或者不符合規范的數據進行清理並建立 ...