【大数据面试】【数仓项目】其他知识点：行为数仓、业务数仓、拉链表、即席查询
一、用户行为数仓. 1、数仓分层架构图 2、埋点行为数据基本格式(基本字段) 3、项目经验总结 MySQL的高可用 存储元数据，搭建时要进行高可用HA 4、日期函数 1）date_add、date_sub函数（加减日期）2）next_day函数（周指标相关 ...
原文：数仓1.3 |行为数据| 业务数据需求
只要是insert into 的就是没分区 需求一：用户活跃主题 DWS层 用户行为宽表层 目标：统计当日 当周 当月活动的每个设备明细 每日活跃设备明细dwd start log gt dws uv detail day 把相同的字段collect set到一个数组, 按mid id分组 便于后边统计 collect set将某字段的值进行去重汇总，产生array类型字段。如: concat w ...
2019-03-20 22:31 1 1681 推荐指数：
相关推荐
电子商务大数据平台实训用户行为数仓业务总结
1 用户行为数仓业务总结 1.1 数仓分几层？每层做什么的？ 1）ODS层（原始数据层） 存储原始数据，直接加载原始日志、数据，数据保持原貌不做处理。 2）DWD层（明细层） 对ODS层数据进行清洗（去除空值、脏数据，超过极限范围的数据） 3）DWS层（服务数据层） 以DWD层为基础 ...
数据仓库 业务数仓 ODS层
ODS层数据不做任何处理，完全仿照业务数据库中的表字段，一模一样的创建ODS层对应表。 8张表建表语句： ①用sqoop把导入到HDFS的时候，加了参数--fields-terminated-by "\t"，因此这里ODS层建表的时候也注意相同的分隔符。 ②不管是全量导入还是其他形式，都使 ...
数据仓库 业务数仓 DWD层
业务数仓的DWD层一般有两个典型操作： ①因为是DWD层，所以要进行数据清洗。 ②因为数据来源于web项目的数据库，标的设计遵循三范式，因此在数仓里需要进行降维，以减少join次数。 在示例的8张表中，订单表，订单详情表，用户表，支付流水表字段与ODS层一致。对商品表的分类进行降维。增加二级 ...
数据仓库 用户行为数仓 DWD数据明细层操作示例
DWD（Data Warehouse Detail）：数据明细层，结构和粒度与原始表保持一致，对ODS层数据进行清洗（取出空值、脏数据、超过极限范围的数据）。 DWD层的数据来源于ODS原始数据层，在原始数据层的Hive表里，只有一个字段，存储了原始的一条条日志信息，下面以事件（如商品点击事件 ...
数据仓库 用户行为数仓 ODS原始数据层操作示例
ODS（Operational Data Store）：原始数据层，存放原始数据，直接加载原始日志、数据，数据保持原貌不做处理。 在ODS一般需要2个重要的步骤，示例如下： 1.建立ODS层的Hive表。 重要说明： ①ODS层存放的是原始数据，因此只需要一个字段就行 ...
大数据项目实战之在线教育（01数仓需求）
第1章 数据仓库概念 数据仓库是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。 数据仓库是出于分析报告和决策支持目的而创建的，为需要业务智能的企业，提供指导业务流程改进、监控时间、成本、质量以及控制。 第2章 项目需求及架构设计 2.1 项目需求 ...
【大数据】什么是数仓
我有自己的博客啦，欢迎各位客官前来哦！戳我进入！ 什么是数仓 一、数仓是什么 数仓，全称就是数据仓库，是一个面向主题，集成的，相对稳定的，反映历史变化的数据集合，通常用于支持管理决策。这里的主题指的是为了分析数据而创造产生的各种有助于决策的数据模型。 随着互联网的发展，数据 ...