目前,Amundsen并不支持表级别和列级别的数据血缘功能,也没有办法展示数据的来龙去脉。 作为Amundsen一项非常核心的功能,Lineage功能早已经提上日程,并进入设计与研发阶段。本位将展示此功能的一些基本设计。 概述 初步设计是通过表详情页,进入到相关页面,来展示表的来源与输出 ...
amundsen 是来自lyft 开源的元数据管理 数据发现平台,功能点很全,有一个比较全的前端 后端以及数据处理框架 参考架构图 说明 从官方介绍以及github代码仓库可以看出还是比较全的整体解决方案,很值得研究学习下,同时官方提供的基于docker compose的可运行环境可以简化我们环境的部署 参考资料 https: github.com lyft amundsenhttps: www. ...
2019-06-04 20:13 0 528 推荐指数:
目前,Amundsen并不支持表级别和列级别的数据血缘功能,也没有办法展示数据的来龙去脉。 作为Amundsen一项非常核心的功能,Lineage功能早已经提上日程,并进入设计与研发阶段。本位将展示此功能的一些基本设计。 概述 初步设计是通过表详情页,进入到相关页面,来展示表的来源与输出 ...
作者:猫丸 链接:https://www.zhihu.com/question/27798279/answer/120660978 来源:知乎 著作权归作者所有。商业转载请联系作者获得授权, ...
一、 Altas 属于apache开源的元数据管理系统,可以对接hive、storm、kafka、hbase、sqoop等组件完成元数据管理以及数据的血缘关系。 系统架构图: MetaSource Sources:目前,Atlas支持从以下来源提取和管理元数据:Hbase、Hive、Sqoop ...
将详细分析这些数据发现平台,在国外已经有了十几种的实现方案。 数据发现平台可以解决的问题 为什么需要一 ...
Amundsen的使命,整理有关数据的所有信息,并使其具有普遍适用性。 这是Amundsen官网的一句话,对于元数据的管理工作,复杂且繁琐。可用的工具很多各有千秋,数据血缘做的较好的应该是Apache Atlas,而数据可视化做的较好的应该是Apache Superset。业界一直需要一个 ...
本人项目中最近有需要图表的地方,偶然发现一款超级漂亮的动态图标js图表控件,分享给大家,觉得好用的就看一下。更多更漂亮的演示大家可以参考下面两个网址:ECharts官方网址:http://ecomfe.github.io/echarts/index.html,Why ECHarts:http ...
先上个大logo,哈哈。 github上有非常多的资源,我们可以在github上搜索到非常多的开源项目。那么如何使用github查找资源? 罗列出一下几种方式。 1.Explore 登录GitHub,在页面中心找到Explore,如图 ...
大数据平台是对海量结构化、非结构化、半机构化数据进行采集、存储、计算、统计、分析处理的一系列技术平台。大数据平台处理的数据量通常是TB级,甚至是PB或EB级的数据,这是传统数据仓库工具无法处理完成的,其涉及的技术有分布式计算、高并发处理、高可用处理、集群、实时性计算等,汇集了当前IT领域热门流行 ...