Griffin 入门 1 Griffin 概述 　　Apache Griffin 是一个开源的大数据数据质量解决方案，它支持批处理和流模式两种数据质量检测方式，可以从不同维度度量数据资产，从而提升数据的准确度和可信度。例如： 离线任务执行完毕后检查源端 ...

数据质量的定义 从数据使用者的角度定义，高质量的数据应该是能充分满足用户使用要求的数据。 数据质量的标准 1：及时性：数据获取是否及时，主要指数据提取、传送、转换、加载、展现的及时性。在数据处理的各个环节，都会涉及到及时性。我们一般考虑两个方面 ...

一、监控 1.日常监控 数据落地监控 数据掉0监控：实际扩展一下就是数据量阈值监控，少于某个量就告警 重复数据监控：很多表一定要监控重复数据的，这点至关重要。 关键指标监控 数据同比环比监控 2. 数据对账 这点主要会体现到实时数据上，特别是Kafka数据落地 ...

系统突然有个IO高峰： 想知道什么事：disk.io.util/device=vda; disk.io.util：在统计时间内所有处理IO时间，除以总共统计时间。是个百分数，比如56.43，表示56.43%。目前我的公司就是监控这个指标报警，之后去排查问题 磁盘：随着大数据快速发展 ...

mysql安装zabbix4.0 一 准备环境 1. 关闭系统 selinux [root@linux01 ~]#vi /etc/selinux/config #This file controls the state of SELinux ...

介绍 1.原理： 从hive metadata中加载数据源根据用户指定的数据质量检查的规则，将规则转换为Spark程序，利用Spark这种强大的计算能力，为数据质量做出检测分析。 2.程序设计模块 measure：计算层，使用spark计算用户制定的数据质量校验规则，由scala开发 ...

数据质量评估 在做了近一个多月的数据质量评估方案工作，基本实现了从产出原始数据、数据清洗、入库有效数据等阶段,从对质量没有任何概念到实现基本的指标展示，也算是从设计到代码到展示的流程跑通，在一定程度已经能体现公司目前的数据质量 1.为什么做数据质量？ 公司数据是从Excel挖掘出 ...

之前在做WinCE车载方案时，曾做过一个小工具TraceMonitor，用于显示WinCE系统上应用程序的调试信息，特别是在实车调试时，用于监控和显示CAN盒与主机之间的串口数据。因为需要抢占市场先机，经常在新车上市前，就得配合CAN解码盒厂商同步调试车机端软件。这时候 ...