【大数据】什么是数仓
我有自己的博客啦，欢迎各位客官前来哦！戳我进入！ 什么是数仓 一、数仓是什么 数仓，全称就是数据仓库，是一个面向主题，集成的，相对稳定的，反映历史变化的数据集合，通常用于支持管理决策。这里的主题指的是为了分析数据而创造产生的各种有助于决策的数据模型。 随着互联网的发展，数据 ...
原文：(原创）大数据 数仓基本概念梳理
一 大数据的基本概念 其实到目前为止对于大数据的数据量的多少还是一个可变定义，主观定义，即并不是要大于一个特定数据的TB,才叫大数据，包括在做的项目中，有的客户因场景需求即使几TB的数据仍然需要建立大数据体系来提供价值。所以这就体现了数据的属性，如行业属性，历史属性，价值属性等等。 二 大数据的结构 大数据简单来说一般可分为 层结构 ， 数据采集层 ， 数据计算层 ， 数据应用层 每三层又可细分 ...
2021-12-15 20:22 0 97 推荐指数：
相关推荐
传统数仓如何转型大数据
大家好，我是一哥，前几天建了一个数据仓库方向的小群，收集了大家的一些问题，其中有个问题，一哥很想去谈一谈——现在做传统数仓，如何快速转到大数据数据呢？其实一哥知道的很多同事都是从传统数据仓库转到大数据的，今天就结合身边的同事经历来一起分享一下。 一、数据仓库 数据仓库：数据仓库系统的主要应用 ...
传统 BI 如何转大数据数仓
前几天建了一个数据仓库方向的小群，收集了大家的一些问题，其中有个问题，一哥很想去谈一谈——现在做传统数仓，如何快速转到大数据数据呢？其实一哥知道的很多同事都是从传统数据仓库转到大数据的，今天就结合身边的同事经历来一起分享一下。 数据仓库 数据仓库：数据仓库系统的主要应用主要 ...
三：大数据架构回顾-数仓架构演进
数据仓库概念是Inmon于1990年提出并给出了完整的建议方法 参考资料 ...
大数据开发-数仓ads层指标计算
ads层数据往往是最终的结果指标数据，在大屏展示，或者实时流处理时候使用，通过下面两个例子来练习业务大屏展示sql该怎么写。 1.会员分析案例 1.1 数据准备 表结构如下，其中此表是dws层以天为维度的会员表，比如每天的会员信息汇总， 1.2 会员指标计算 沉默会员的定义：只在安装 ...
【大数据面试】【数仓项目】其他知识点：行为数仓、业务数仓、拉链表、即席查询
一、用户行为数仓. 1、数仓分层架构图 2、埋点行为数据基本格式(基本字段) 3、项目经验总结 MySQL的高可用 存储元数据，搭建时要进行高可用HA 4、日期函数 1）date_add、date_sub函数（加减日期）2）next_day函数（周指标相关 ...
nifi-大数据基础01——基本概念介绍
什么是nifi？ nifi是用来处理数据集成场景的数据分发，BS结构的图形化控制工具，具有对大数据的处理和分发能力，nifi可以处理各种各样的数据源和不同格式的数据。可以从一个源中获取数据，对其进行转换，然后将其推送到另一个目标存储地。 nifi解决的问题 1、高可用 ...
大数据开发---数仓拉链表概述，以及如何迭代或者回滚
1.背景 拉链表是什么，在数仓建立时候，一种重要的表数据处理方式，可以将数据结构于算法，类比于拉链表于数仓，旨在解决数仓建立里面的SCD需求，那么什么是SCD，就是缓慢变化维，随着时间流逝，数据相对事实表发生缓慢变化。 SCD的常用处理方式有以下几种： 保留原值 直接覆盖 ...