Linux搭建数据质量监控 Griffin
官方源码： https://gitee.com/apache/griffin/tree/master 下载到本地 一、启动前需要先安装以下环境 Jdk（1.8 or later versions） Postgresql or Mysql（用于存储Measure、job等元数据信息 ...
原文：离线电商数仓（六十五）之数据质量监控（一）Griffin（一） 入门
Griffin 入门 Griffin 概述 Apache Griffin 是一个开源的大数据数据质量解决方案，它支持批处理和流模式两种数据质量检测方式，可以从不同维度度量数据资产，从而提升数据的准确度和可信度。例如： 离线任务执行完毕后检查源端和目标端的数据数量是否一致，源表的数据空值等。 Griffin 架构原理 ...
2020-09-28 22:18 0 581 推荐指数：
相关推荐
实时电商数仓（八）之数据采集（七）数据库数据采集（二）canal 入门
1 什么是 canal 阿里巴巴B2B公司，因为业务的特性，卖家主要集中在国内，买家主要集中在国外，所以衍生出了杭州和美国异地机房的需求，从2010年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务 ...
实时电商数仓（十）之数据采集（九）数据库数据采集（四）Maxwell入门与安装
1 Maxwell maxwell 是由美国zendesk开源，用java编写的Mysql实时抓取软件。 其抓取的原理也是基于binlog。 1.1 工具对比 1 Maxwell 没有 Canal那种server+client模式，只有一个server把数据发送到消息队列或redis ...
大数据项目之电商数仓（3电商数据仓库系统）V6.1.3
第1章 数仓分层1.1 为什么要分层 1.2 数据集市与数据仓库概念 1.3 数仓命名规范1.3.1 表命名ODS层命名为ods_表名DWD层命名为dwd_dim/fact_表名DWS层命名为dws_表名 DWT层命名为dwt_购物车ADS层命名为ads_表名临时表命名为 ...
电商数仓中需要统计的指标
1、商品类指标：产品总数，SKU数（有多少件），SPU数（有多少款式），上架商品的SKU数，上架商品的SPU数，上架商品数。 2、流量类指标：PV、UV、跳出率、平均页面的访问时长、人均页面访问数。 ...
SpringBoot进阶教程(六十五)自定义注解
在上一篇文章《SpringBoot进阶教程(六十四)注解大全》中介绍了springboot的常用注解，springboot提供的注解非常的多,这些注解简化了我们的很多操作。今天主要介绍介绍自定义注解。 自spring4.0开放以来，自定义注解非常常见，项目中都会或多或少的使用 ...
大数据项目之电商数仓二（系统业务数据仓库）
一、电商业务简介 1、电商业务流程 2、电商业务表结构 2.1 订单表（order_info） 标签 含义 id 订单编号 consignee ...
大数据项目之电商数仓一（用户行为采集）
一、数据仓库概念 数据仓库（Data Warehouse） 是为企业所有决策制定过程，提供所有系统数据支持的战略集合。 二、项目需求及架构设计 2.1 项目需求分析 1、项目需求 1）用户行为数据采集平台搭建 2）业务数据采集平台搭建 3）数据仓库维度 ...