一.文档编写目的 为了指导和规范大数据测试人员对离线数仓的测试方法，减少因为数据测试不够严格，导致后期数据应用出现偏差和错误的情况。特别关注下后面的测试总结，是为了减少漏测，添加常见核心测试点，希望能够指导离线数仓测试人员。 二.大数据测试类型 1.功能测试 通常是数据完整性测试 ...

摘要：在数据仓库平台建设过程中，数据的加载、卸载，各层数据模型之间的数据流转，业务规则的实现等等数据加工过程都会以ETL任务的方式实现。 一、前言 在数据仓库平台建设过程中，数据的加载、卸载，各层数据模型之间的数据流转，业务规则的实现等等数据加工过程都会以ETL任务的方式实现。 构建 ...

今天和大家分享下我作为大数据测试工程师对ETL测试的一些认识。 一、ETL测试工程师的主要责任 对于一个ETL测试工程师而言，其关键的责任有三大类：1. 源数据分析（包含：数据库表、文本等类型数据分析）2. 业务转换逻辑实现（包含：code diff，目标表全量数据的逻辑实现验证）3. ...

数仓的分层总结 ODS：（原始数据层）： 原始，对采集的数据不做处理！DWD： （明细数据层）： 对原始数据层的数据，展开明细，进行ETL过滤！DWS： （数据服务层）： 基于ADS需要统计的主题，创建宽表ADS： （应用数据层）： 基于DWS的宽表，计算出结果 范式 范式：数据库在设计 ...

一、数仓建模目的 　　访问性能：数据快速查询，减少io 　　数据成本：减少数据冗余，计算结果服用，降低存储和计算成本 　　使用效率：改善用户应用体验，提高使用数据效率 　　数据质量：改善数据统计口径的不一致，减少数据计算错误的可能性，提工高质量、一致的数据访问平台 二、数仓建模方法 ...

1 、为什么要分层 我们对数据进行分层的一个主要原因就是希望在管理数据的时候，能对数据有一个更加清晰的掌控，详细来讲，主要有下面几个原因： 清晰数据结构：每一个数据分层 ...

数据应用，是真正体现数仓价值的部分，包括且又不局限于 数据可视化、BI、OLAP、即席查询，实时大屏，用户画像，推荐系统，数据分析，数据挖掘，人脸识别，风控反欺诈，ABtest等等 OLAP（On-Line Analytical Processing）：在线分析处理，主要用于支持企业决策管理 ...

1、概述 数据仓库中，常见的分层包括ods、dwd、dws、dwt、ads、dim等 2、传统上的数据分层 早期的大数据平台是以hadoop为核心，数据开发也是以MapReduce为主，hive ...