一款好用的數據血緣關系在線工具--SQLFlow
l 數據血緣關系(data lineage) 數據血緣屬於數據治理中的一個概念，是在數據溯源的過程中找到相關數據之間的聯系，它是一個邏輯概念。數據治理中經常提到血緣分析，血緣分析是保證數據融合的一個手段，通過血緣分析實現數據融合處理的可追溯。數據血緣是指數據產生的鏈路，直白點說 ...
原文：血緣關系分析工具SQLFLOW--實踐指南
SQLFlow是用於追溯數據血緣關系的工具，它自誕生以來以幫助成千上萬的工程師即用戶解決了困擾許久的數據血緣梳理工作。 數據庫中視圖 View 的數據來自表 Table 或其他視圖，視圖中字段 Column 的數據可能來自多個表中多個字段的聚集 aggregation 。 表中的數據可能通過ETL從外部系統中導入。這種從數據的源頭經過各個處理環節，到達數據終點的數據鏈路關系稱為數據血緣關系 da ...
2021-05-29 22:57 0 7611 推薦指數：
相關推薦
spark 分析任務血緣關系
接到新的需求,在spark中增加埋點，解析任務的血緣關系，包括sql和代碼方式，不包括中間臨時視圖(createOrReplaceTempView(XXX表))。 有位同學已經https://www.cnblogs.com/wuxilc/p/9326130.html 做了hive解析相關 ...
SVG--D3--血緣關系樹
最近的工作與可視化有關，有展示血緣關系樹的需求 ，類似於這樣： 碰巧搜到 D3（用於可視化的js庫，作者呂之華），瞬間無法自拔，它的樹狀圖功能基於SVG、js ，暴露的可操作入口也簡潔恰當，能幫助你快速完成svg開發。 D3的使用： 入門教程：http ...
基於spark logicplan的表血緣關系解析實現
隨着公司平台用戶數量與表數量的不斷增多，各種表之間的數據流向也變得更加復雜，特別是某個任務中會對源表讀取並進行一系列復雜的變換后又生成新的數據表，因此需要一套表血緣關系解析機制能清晰地解析出每個任務所形成的表血緣關系鏈。 實現思路: spark對sql的操作會形成 ...
hive血緣關系之輸入表與目標表的解析
接了一個新需求：需要做數據倉庫的血緣關系。正所謂兵來將擋水來土掩，那咱就動手吧。 血緣關系是數據治理的一塊，其實有專門的第三方數據治理框架，但考慮到目前的線上環境已經趨於穩定，引入新的框架無疑是勞民傷財，傷筋動骨，所以就想以最小的代價把這個事情給做了。目前我們考慮做的血緣關系呢只是做輸入 ...
[一起學Hive]之十九-使用Hive API分析HQL的執行計划、Job數量和表的血緣關系
，另外，介紹使用API分析一條HQL中所包含的輸入表和輸出表。這些信息在做元數據管理和Hive表的血緣分析時 ...
SQLFlow——一個強大的可視化SQL關系分析工具
SQLFlow 摘要 本文主要介紹SQLFlow是什么，以及它的功能及使用場景 SQLFlow是什么 SQLFlow是一個可視化的在線處理SQL對象依賴關系的工具，只需要上傳你的SQL腳本，它可以自動分析SQL里的數據對象，包括database、schema、table、view ...