一款好用的数据血缘关系在线工具--SQLFlow
l 数据血缘关系(data lineage) 数据血缘属于数据治理中的一个概念，是在数据溯源的过程中找到相关数据之间的联系，它是一个逻辑概念。数据治理中经常提到血缘分析，血缘分析是保证数据融合的一个手段，通过血缘分析实现数据融合处理的可追溯。数据血缘是指数据产生的链路，直白点说 ...
原文：血缘关系分析工具SQLFLOW--实践指南
SQLFlow是用于追溯数据血缘关系的工具，它自诞生以来以帮助成千上万的工程师即用户解决了困扰许久的数据血缘梳理工作。 数据库中视图 View 的数据来自表 Table 或其他视图，视图中字段 Column 的数据可能来自多个表中多个字段的聚集 aggregation 。 表中的数据可能通过ETL从外部系统中导入。这种从数据的源头经过各个处理环节，到达数据终点的数据链路关系称为数据血缘关系 da ...
2021-05-29 22:57 0 7611 推荐指数：
相关推荐
spark 分析任务血缘关系
接到新的需求,在spark中增加埋点，解析任务的血缘关系，包括sql和代码方式，不包括中间临时视图(createOrReplaceTempView(XXX表))。 有位同学已经https://www.cnblogs.com/wuxilc/p/9326130.html 做了hive解析相关 ...
SVG--D3--血缘关系树
最近的工作与可视化有关，有展示血缘关系树的需求 ，类似于这样： 碰巧搜到 D3（用于可视化的js库，作者吕之华），瞬间无法自拔，它的树状图功能基于SVG、js ，暴露的可操作入口也简洁恰当，能帮助你快速完成svg开发。 D3的使用： 入门教程：http ...
基于spark logicplan的表血缘关系解析实现
随着公司平台用户数量与表数量的不断增多，各种表之间的数据流向也变得更加复杂，特别是某个任务中会对源表读取并进行一系列复杂的变换后又生成新的数据表，因此需要一套表血缘关系解析机制能清晰地解析出每个任务所形成的表血缘关系链。 实现思路: spark对sql的操作会形成 ...
hive血缘关系之输入表与目标表的解析
接了一个新需求：需要做数据仓库的血缘关系。正所谓兵来将挡水来土掩，那咱就动手吧。 血缘关系是数据治理的一块，其实有专门的第三方数据治理框架，但考虑到目前的线上环境已经趋于稳定，引入新的框架无疑是劳民伤财，伤筋动骨，所以就想以最小的代价把这个事情给做了。目前我们考虑做的血缘关系呢只是做输入 ...
[一起学Hive]之十九-使用Hive API分析HQL的执行计划、Job数量和表的血缘关系
，另外，介绍使用API分析一条HQL中所包含的输入表和输出表。这些信息在做元数据管理和Hive表的血缘分析时 ...
SQLFlow——一个强大的可视化SQL关系分析工具
SQLFlow 摘要 本文主要介绍SQLFlow是什么，以及它的功能及使用场景 SQLFlow是什么 SQLFlow是一个可视化的在线处理SQL对象依赖关系的工具，只需要上传你的SQL脚本，它可以自动分析SQL里的数据对象，包括database、schema、table、view ...