第 1 章 数据可视化接口 1.1 设计思路 之前数据分层处理,最后把轻度聚合的结果保存到ClickHouse中,主要的目的就是提供即时的数据查询、统计、分析服务。这些统计服务一般会用两种形式 ...
第 1 章 数据可视化接口 1.1 设计思路 之前数据分层处理,最后把轻度聚合的结果保存到ClickHouse中,主要的目的就是提供即时的数据查询、统计、分析服务。这些统计服务一般会用两种形式 ...
第1章 电商实时数仓介绍 1.1 普通实时计算与实时数仓比较 普通的实时计算优先考虑时效性,所以从数据源采集经过实时计算直接得到结果。如此做时效性更好,但是弊端是由于计算过程中的中间结果没有沉 ...
第1章 DWM层和DWS设计 1.1 设计思路 DWM(Data WareHouse Middle),一般成为数据中间层,该层会在DWD层的基础上, 对数据做轻度的聚合操作,生成一系列的中间表 ...
第1章 需求分析和实现思路 1.1 实时数仓分层 在之前介绍实时数仓概念时讨论过,建设实时数仓的目的,主要是增加数据计算的复用性。每次新增加统计需求时,不至于从原始数据进行计算,而是从半成品继 ...
第1章 SparkStreaming概述 1.1 Spark Streaming是什么 Spark Streaming用于流式数据的处理。Spark Streaming支持的数据输入源 ...
第1章 DWM层和DWS设计 1.1 设计思路 DWM(Data WareHouse Middle),一般称为数据中间层. 该层会在DWD层的基础上,对数据做轻度的聚合操作,生成一系列的中间表 ...