原文:前瞻|Amundsen的数据血缘功能

目前,Amundsen并不支持表级别和列级别的数据血缘功能,也没有办法展示数据的来龙去脉。 作为Amundsen一项非常核心的功能,Lineage功能早已经提上日程,并进入设计与研发阶段。本位将展示此功能的一些基本设计。 概述 初步设计是通过表详情页,进入到相关页面,来展示表的来源与输出。 作为这项新的功能,就涉及到了几个新的概念。 新的概念 Lineage:这是一个术语,代表了数据流的传递过程, ...

2021-03-26 10:48 0 237 推荐指数:

查看详情

SpringBoot 2.5 版本功能前瞻

前言 目前 Spring Boot 2.5.0 RC1 已经发布,其开发团队表示将在 5 月 20 日正式 GA。我们梳理了一下大家比较关系和感兴趣的一些变更。 一、 运行端点变更 Sec ...

Tue Apr 27 18:35:00 CST 2021 0 3206
数据治理-Atlas血缘

参考: 官网: https://atlas.apache.org 简单介绍: https://cloud.tencent.com/developer/article/1544396 GG ...

Tue Mar 03 01:09:00 CST 2020 0 3174
amundsen 来自lyft 的开源数据发现平台

amundsen 是来自lyft 开源的元数据管理、数据发现平台,功能点很全,有一个比较全的前端、后端以及 数据处理框架 参考架构图 说明 从官方介绍以及github代码仓库可以看出还是比较全的整体解决方案,很值得研究学习下,同时官方提供的基于docker-compose 的可运 ...

Wed Jun 05 04:13:00 CST 2019 0 528
数据比对-altas vs amundsen vs TDH-catalog(一)

一、 Altas 属于apache开源的元数据管理系统,可以对接hive、storm、kafka、hbase、sqoop等组件完成元数据管理以及数据血缘关系。 系统架构图: MetaSource Sources:目前,Atlas支持从以下来源提取和管理元数据:Hbase、Hive、Sqoop ...

Mon Aug 30 17:19:00 CST 2021 0 167
数据治理方案技术调研 Atlas VS Datahub VS Amundsen

数据治理意义重大,传统的数据治理采用文档的形式进行管理,已经无法满足大数据下的数据治理需要。而适合于Hadoop大数据生态体系的数据治理就非常的重要了。 ​ 大数据下的数据治理作为很多企业的一个巨大的难题,能找到的数据的解决方案并不多,但是好在近几年,很多公司已经进行了尝试并开源了出来,本文 ...

Wed Nov 11 15:57:00 CST 2020 1 2716
Github 1.9K Star的数据治理框架-Amundsen

Amundsen的使命,整理有关数据的所有信息,并使其具有普遍适用性。 这是Amundsen官网的一句话,对于元数据的管理工作,复杂且繁琐。可用的工具很多各有千秋,数据血缘做的较好的应该是Apache Atlas,而数据可视化做的较好的应该是Apache Superset。业界一直需要一个 ...

Thu Mar 25 21:36:00 CST 2021 0 439
马哈鱼血缘分析工具--专业且易用的数据血缘分析器

马哈鱼血缘分析工具--专业且易用的数据血缘分析器 随着大数据技术的发展与普及,数据治理和数据质量变得越来越重要,数据血缘分析在业界悄然兴起并得到了广泛流行,马哈鱼是国内少有的一款专业且易用的血缘分析工具。据资料显示,马哈鱼是当前最流行的数据血缘关系(data lineage)管理工具 ...

Mon Jan 10 05:52:00 CST 2022 0 1172
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM