原文:amundsen 来自lyft 的开源数据发现平台

amundsen 是来自lyft 开源的元数据管理 数据发现平台,功能点很全,有一个比较全的前端 后端以及数据处理框架 参考架构图 说明 从官方介绍以及github代码仓库可以看出还是比较全的整体解决方案,很值得研究学习下,同时官方提供的基于docker compose的可运行环境可以简化我们环境的部署 参考资料 https: github.com lyft amundsenhttps: www. ...

2019-06-04 20:13 0 528 推荐指数:

查看详情

前瞻|Amundsen数据血缘功能

目前,Amundsen并不支持表级别和列级别的数据血缘功能,也没有办法展示数据的来龙去脉。 作为Amundsen一项非常核心的功能,Lineage功能早已经提上日程,并进入设计与研发阶段。本位将展示此功能的一些基本设计。 概述 初步设计是通过表详情页,进入到相关页面,来展示表的来源与输出 ...

Fri Mar 26 18:48:00 CST 2021 0 237
数据比对-altas vs amundsen vs TDH-catalog(一)

一、 Altas 属于apache开源的元数据管理系统,可以对接hive、storm、kafka、hbase、sqoop等组件完成元数据管理以及数据的血缘关系。 系统架构图: MetaSource Sources:目前,Atlas支持从以下来源提取和管理元数据:Hbase、Hive、Sqoop ...

Mon Aug 30 17:19:00 CST 2021 0 167
Github 1.9K Star的数据治理框架-Amundsen

Amundsen的使命,整理有关数据的所有信息,并使其具有普遍适用性。 这是Amundsen官网的一句话,对于元数据的管理工作,复杂且繁琐。可用的工具很多各有千秋,数据血缘做的较好的应该是Apache Atlas,而数据可视化做的较好的应该是Apache Superset。业界一直需要一个 ...

Thu Mar 25 21:36:00 CST 2021 0 439
Github发现优秀的开源项目

     先上个大logo,哈哈。   github上有非常多的资源,我们可以在github上搜索到非常多的开源项目。那么如何使用github查找资源?   罗列出一下几种方式。 1.Explore 登录GitHub,在页面中心找到Explore,如图 ...

Sat May 27 19:41:00 CST 2017 0 2895
数据平台常见开源工具有哪些?

数据平台是对海量结构化、非结构化、半机构化数据进行采集、存储、计算、统计、分析处理的一系列技术平台。大数据平台处理的数据量通常是TB级,甚至是PB或EB级的数据,这是传统数据仓库工具无法处理完成的,其涉及的技术有分布式计算、高并发处理、高可用处理、集群、实时性计算等,汇集了当前IT领域热门流行 ...

Tue Jul 02 21:12:00 CST 2019 0 1478
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM