项目实战从0到1之hive（24）企业级数据仓库构建（六）：数仓理论及数仓搭建
一、数仓分层1.1 为什么要分层1.2 数据集市与数据仓库概念1.3 数仓命名规范1.3.1 表命名 ODS层命名为ods_表名 DWD层命名为dwd_dim/fact_表名 DWS层命名为dws_表名 DWT层命名为dwt_购物车 ADS层命名为ads_表名 临时表 ...
原文：项目实战从0到1之hive（27）数仓项目（九）数仓搭建 - DWS 层
一 数仓搭建 DWS 层 . 业务术语 用户用户以设备为判断标准，在移动统计中，每个独立设备认为是一个独立用户。Android系统根据 IMEI 号，IOS 系统根据 OpenUDID 来标识一个独立用户，每部手机一个用户 新增用户首次联网使用应用的用户。如果一个用户首次打开某 APP，那这个用户定义为新增用户 卸载再安装的设备，不会被算作一次新增。新增用户包括日新增用户 周新增用户 月新增用户 ...
2020-09-27 13:35 0 443 推荐指数：
相关推荐
【大数据面试】【数仓项目】分层：ODS层、DWD层、DWS层、ADS层构成、操作
一、ODS层 1、保持数据原貌，不做任何修改 2、数据压缩：LZO压缩，减少磁盘空间 3、创建的是分区表：可以防止后续的全表扫描 包括 用户行为：string line dt ods_start； ods_event（商品列表、商品详情 ...
4.Hive中的ODS、 DWD、 DWS、 ADS 数仓分层
1、数据仓库 我们常提的数仓（DataWarehouse），就是在我们已有的数据库（他是对数据的存储）的基础之上，增加了对数据的OLAP（On-Line Analytical Processing），支持复杂的数据分析操作，更侧重决策支持，提供直观易懂的查询结果，而数据库更着重的是事务处理 ...
项目实战 从 0 到 1 学习之Flink（28）Flink 1.11 新特性：流批一体的 Hive 数仓
Table/SQL 的 blink planner 成为默认 Planner。 Flink 1.11 中流计算结合 Hive 批处理数仓，给离线数仓带来 Flink 流处理实时且 Exactly-once 的能力。另外，Flink 1.11 完善了 Flink 自身的 Filesystem ...
MVC + EFCore 项目实战 - 数仓管理系统1
项目背景及需求说明 这是一个数据管理"工具类"的系统，计划有三个核心功能： 1、通过界面配置相关连接字符串，查询数据库的表数据。 2、配置相关模板，生成数据库表。 可以界面填报或通过Excel导入导出填报表数据。 3、通过界面配置导出数据库表结构（数据字典 ...
MVC + EFCore 项目实战 - 数仓管理系统2- 搭建基本框架配置EFCore
本次课程就正式进入开发部分。 首先我们先搭建项目框架，还是和之前渐进式风格保持一致，除必备组件外，尽量使用原生功能以方便大家理解。 开发工具：vs 2019 或以上 数据库：SQL SERVER 2017 或以上 其他需要用到的我们在项目过程中再提。 一、新建 ...
基于Spark快速构建数仓项目
基于Spark快速构建数仓项目 目录 基于Spark快速构建数仓项目 重点问题 什么是数据仓库 基于Spark集成数据源（ETL） 基于Spark SQL 进行OLAP分析 QA 重点问题 数据仓库解决 ...
【大数据面试】【数仓项目】其他知识点：行为数仓、业务数仓、拉链表、即席查询
一、用户行为数仓. 1、数仓分层架构图 2、埋点行为数据基本格式(基本字段) 3、项目经验总结 MySQL的高可用 存储元数据，搭建时要进行高可用HA 4、日期函数 1）date_add、date_sub函数（加减日期）2）next_day函数（周指标相关 ...