银行数据仓库体系实践（1）--银行数据仓库简介
银行数据仓库体系实践（1）--银行数据仓库简介 大家好，我是leo，一个ITer，在银行从事系统开发多年。对银行系统架构特别是数据仓库/ODS等数据类系统有一定的经验积累，准备将之前的一些经验整理成文，一来为自己工作做个总结梳理，二来也希望能和大家互相讨论，共同学习，探讨新技术、新 ...
原文：银行数据仓库体系实践（4）--数据抽取和加载
银行数据仓库体系实践 数据抽取和加载 ETL和ELT ETL是Extract Transfrom Load即抽取 转换 加载三个英文单词首字母的集合： E：抽取，从源系统 Souce 获取数据 T：转换，将源系统获取的数据进行处理加工，比如数据格式转化 数据精度转换 数据清洗 缺失数据补齐 异常数据排除等。 L：加载，将数据加载到目标数据库 Target 。 ELT也是同样三个单词的首字母组合， ...
2020-10-13 15:03 0 527 推荐指数：
相关推荐
银行数据仓库体系实践（3）--数据架构
银行数据仓库体系实践（3）--数据架构 狭义的数据仓库数据架构用来特指数据分布，广义的数据仓库数据架构还包括数据模型、数据标准和数据治理。即包含相对静态部分如元数据、业务对象数据模型、主数据、共享数据，也包含相对动态部分如数据 ...
银行数据仓库体系实践（5）--数据转换
数据转换作业主要是指在数据仓库内的结构化数据批量加工，对于非结构化数据以及在线查询接口、数据流的开发主要是遵循代码开发规范以及各中间件的开发规范，如使用java来开发遵守java开发规范，使用Kafka需要遵循Kafka的使用和设计规范。同时做好组件的设计，提高复用程度和开发效率。这里就不再赘述 ...
银行数据仓库体系实践（9）--主题模型
在银行主题模型中，每个数据仓库的实施公司会有金融行业或银行业的主题模型，这个模型会根据新的业务不断进行完善，是各实施公司的业务经验积累。一个良好的模型对数据仓库的实施起到了事半功倍的效果，虽然不同的公司会有不同的主题模型产品，但每个公司的产品基本上分为以下几个主题： 1、当事人（PARTY ...
银行数据仓库体系实践（7）--数据模型设计及流程
数据仓库作为全行或全公司的数据中心和总线，汇集了全行各系统以及外部数据，通过良好的系统架构可以保证系统稳定性和处理高效性，那如何保障系统数据的完备性、规范性和统一性呢？这里就需要有良好的数据分区和数据模型，那数据分区在第三部分数据架构中已经介绍，本节将介绍如何进行数据模型的设计。 1、各数据分区 ...
银行数据仓库体系实践（12）--数据管理及治理
数据仓库作为全行数据中心能高效支持全行或全公司的统计 、数据分析工作，除了稳定的ETL架构、高效的数据处理能力，流畅的开发管理流程，还需要有全面的数据管理体系，确保提供的数据准确性和高质量。数据管理主要有数据标准，元数据和数据质量3方面。那数据治理是指对没有规范或者不符合规范的数据进行清理并建立 ...