Griffin 入門 1 Griffin 概述 　　Apache Griffin 是一個開源的大數據數據質量解決方案，它支持批處理和流模式兩種數據質量檢測方式，可以從不同維度度量數據資產，從而提升數據的准確度和可信度。例如： 離線任務執行完畢后檢查源端 ...

數據質量的定義 從數據使用者的角度定義，高質量的數據應該是能充分滿足用戶使用要求的數據。 數據質量的標准 1：及時性：數據獲取是否及時，主要指數據提取、傳送、轉換、加載、展現的及時性。在數據處理的各個環節，都會涉及到及時性。我們一般考慮兩個方面 ...

一、監控 1.日常監控 數據落地監控 數據掉0監控：實際擴展一下就是數據量閾值監控，少於某個量就告警 重復數據監控：很多表一定要監控重復數據的，這點至關重要。 關鍵指標監控 數據同比環比監控 2. 數據對賬 這點主要會體現到實時數據上，特別是Kafka數據落地 ...

系統突然有個IO高峰： 想知道什么事：disk.io.util/device=vda; disk.io.util：在統計時間內所有處理IO時間，除以總共統計時間。是個百分數，比如56.43，表示56.43%。目前我的公司就是監控這個指標報警，之后去排查問題 磁盤：隨着大數據快速發展 ...

mysql安裝zabbix4.0 一 准備環境 1. 關閉系統 selinux [root@linux01 ~]#vi /etc/selinux/config #This file controls the state of SELinux ...

介紹 1.原理： 從hive metadata中加載數據源根據用戶指定的數據質量檢查的規則，將規則轉換為Spark程序，利用Spark這種強大的計算能力，為數據質量做出檢測分析。 2.程序設計模塊 measure：計算層，使用spark計算用戶制定的數據質量校驗規則，由scala開發 ...

數據質量評估 在做了近一個多月的數據質量評估方案工作，基本實現了從產出原始數據、數據清洗、入庫有效數據等階段,從對質量沒有任何概念到實現基本的指標展示，也算是從設計到代碼到展示的流程跑通，在一定程度已經能體現公司目前的數據質量 1.為什么做數據質量？ 公司數據是從Excel挖掘出 ...

之前在做WinCE車載方案時，曾做過一個小工具TraceMonitor，用於顯示WinCE系統上應用程序的調試信息，特別是在實車調試時，用於監控和顯示CAN盒與主機之間的串口數據。因為需要搶占市場先機，經常在新車上市前，就得配合CAN解碼盒廠商同步調試車機端軟件。這時候 ...