数仓分层 ODS：Operation Data Store原始数据 DWD(数据清洗/DWI) data warehouse detail数据明细详情，去除空值，脏数据，超过极限范围的明细解析具体 ...

一、概述 在多维分析的商业智能解决方案中，根据事实表和维度表的关系，又可将常见的模型分为星型模型和雪花型模型。在设计逻辑型数据的模型的时候，就应考虑数据是按照星型模型还是雪花型模型进行组织。 当所 ...

本文将全面讲解数仓建设规范，从数据模型规范，到数仓公共规范，数仓各层规范，最后到数仓命名规范，包括表命名，指标字段命名规范等！ 目录： 一、数据模型架构原则 ...

使用hive储存数据时，需要对做分区，如果从kafka接收数据，将每天的数据保存一个分区（按天分区），保存分区时需要根据某个字段做动态分区，而不是傻傻的将数据写到某一个临时目录最后倒入到某一个分区，这 ...

目录 1、增量更新 2、对第一种情况 2.1、准备工作 2.2、更新数据 3、对第二种情况 3.1、准备工作 3 ...

什么是指标 数据团队出具的一个统计报表字段即为指标。比如最近七天的订单量，一个促销活动的购买转化率等等。 一个指标具体到计算实施，主要有以下几部分组成 指标加工逻辑，比如count ,sum ...

导读：Apache Druid是一个集时间序列数据库、数据仓库和全文检索系统特点于一体的分析性数据平台。本文将带你简单了解Druid的特性，使用场景，技术特点和架构。这将有助于你选型数据存 ...

作为一个数据人，是不是经常被各种名词围绕，是不是对其中很多概念认知模糊。有些词虽然只有一字之差，但是它们意思完全不同，今天我们就来了解下数仓建设及数据分析时常见的一些概念含义及它们之间的关系。 ...

数仓建模首推书籍《数据仓库工具箱：维度建模权威指南》，本篇文章参考此书而作。 文章首发公众号：五分钟学大数据，公众号中发送“维度建模”即可获取此书籍第三版电子书 先来介绍下此书，此书是基于 ...

前言 最近接触一个新项目，要用到datastage,翻了一下网上的中文资料很少，决定翻译一些官网资料在这里，方便自己学习回顾。 什么是Datastage? Datastage是一个 ...