原文:amundsen 來自lyft 的開源數據發現平台

amundsen 是來自lyft 開源的元數據管理 數據發現平台,功能點很全,有一個比較全的前端 后端以及數據處理框架 參考架構圖 說明 從官方介紹以及github代碼倉庫可以看出還是比較全的整體解決方案,很值得研究學習下,同時官方提供的基於docker compose的可運行環境可以簡化我們環境的部署 參考資料 https: github.com lyft amundsenhttps: www. ...

2019-06-04 20:13 0 528 推薦指數:

查看詳情

前瞻|Amundsen數據血緣功能

目前,Amundsen並不支持表級別和列級別的數據血緣功能,也沒有辦法展示數據的來龍去脈。 作為Amundsen一項非常核心的功能,Lineage功能早已經提上日程,並進入設計與研發階段。本位將展示此功能的一些基本設計。 概述 初步設計是通過表詳情頁,進入到相關頁面,來展示表的來源與輸出 ...

Fri Mar 26 18:48:00 CST 2021 0 237
數據比對-altas vs amundsen vs TDH-catalog(一)

一、 Altas 屬於apache開源的元數據管理系統,可以對接hive、storm、kafka、hbase、sqoop等組件完成元數據管理以及數據的血緣關系。 系統架構圖: MetaSource Sources:目前,Atlas支持從以下來源提取和管理元數據:Hbase、Hive、Sqoop ...

Mon Aug 30 17:19:00 CST 2021 0 167
Github 1.9K Star的數據治理框架-Amundsen

Amundsen的使命,整理有關數據的所有信息,並使其具有普遍適用性。 這是Amundsen官網的一句話,對於元數據的管理工作,復雜且繁瑣。可用的工具很多各有千秋,數據血緣做的較好的應該是Apache Atlas,而數據可視化做的較好的應該是Apache Superset。業界一直需要一個 ...

Thu Mar 25 21:36:00 CST 2021 0 439
Github發現優秀的開源項目

     先上個大logo,哈哈。   github上有非常多的資源,我們可以在github上搜索到非常多的開源項目。那么如何使用github查找資源?   羅列出一下幾種方式。 1.Explore 登錄GitHub,在頁面中心找到Explore,如圖 ...

Sat May 27 19:41:00 CST 2017 0 2895
數據平台常見開源工具有哪些?

數據平台是對海量結構化、非結構化、半機構化數據進行采集、存儲、計算、統計、分析處理的一系列技術平台。大數據平台處理的數據量通常是TB級,甚至是PB或EB級的數據,這是傳統數據倉庫工具無法處理完成的,其涉及的技術有分布式計算、高並發處理、高可用處理、集群、實時性計算等,匯集了當前IT領域熱門流行 ...

Tue Jul 02 21:12:00 CST 2019 0 1478
 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM