指标体系建设的方法——SCDS四步法 一、构建指标体系 在建立指标体系之前，我们先了解一下指标的构成，在我们工作过程中遇见的指标多为派生性指标，即，原子性指标+修饰词+时间段，修饰词 ...

前言 Hive支持的存储数的格式主要有：TEXTFILE 、SEQUENCEFILE、ORC、PARQUET。 行与列存储的特点 行存储的特点 查询满足条件的一整行数据的时候，列存储则需要去每个聚集的字段找到对应的每个列的值，行存储只需要找到其中一个值，其余的值都在相邻地方，所以此时行存储 ...

数仓的分层总结 ODS：（原始数据层）： 原始，对采集的数据不做处理！DWD： （明细数据层）： 对原始数据层的数据，展开明细，进行ETL过滤！DWS： （数据服务层）： 基于ADS需要统计的主题，创建宽表ADS： （应用数据层）： 基于DWS的宽表，计算出结果 范式 范式：数据库在设计 ...

一、数仓建模目的 　　访问性能：数据快速查询，减少io 　　数据成本：减少数据冗余，计算结果服用，降低存储和计算成本 　　使用效率：改善用户应用体验，提高使用数据效率 　　数据质量：改善数据统计口径的不一致，减少数据计算错误的可能性，提工高质量、一致的数据访问平台 二、数仓建模方法 ...

1 、为什么要分层 我们对数据进行分层的一个主要原因就是希望在管理数据的时候，能对数据有一个更加清晰的掌控，详细来讲，主要有下面几个原因： 清晰数据结构：每一个数据分层 ...

数据应用，是真正体现数仓价值的部分，包括且又不局限于 数据可视化、BI、OLAP、即席查询，实时大屏，用户画像，推荐系统，数据分析，数据挖掘，人脸识别，风控反欺诈，ABtest等等 OLAP（On-Line Analytical Processing）：在线分析处理，主要用于支持企业决策管理 ...

1、概述 数据仓库中，常见的分层包括ods、dwd、dws、dwt、ads、dim等 2、传统上的数据分层 早期的大数据平台是以hadoop为核心，数据开发也是以MapReduce为主，hive ...