HIVE元数据整理dbs: 存放database信息，包括数据库名称、DB_LOCATION_URI、主键为DB_IDtbls：存放table信息，包括表名称，表类型（内部、外部）、主键TBL_ID，外键DB_ID关联database表，SD_ID关联表参数信息sds：存放table参数信息，包括 ...

背景：笔者和团队的小伙伴近期在进行数据治理/元数据管理方向的探索, 在接下来的系列文章中, 会陆续与读者们进行分享在此过程中踩过的坑和收获。 元数据管理系列文章： [0] - 使用Atlas进行元数据管理之Atlas简介 [1] - 使用Atlas进行元数据管理之Glossary ...

目录 1. Atlas简介 2. 编译安装 2.1 软件版本 2.2 编译环境 2.3 环境配置及检查 2.3.1 Java环境变量 2.3.2 Maven环境变量 2.4 编译 ...

随着数字化转型的工作推进，数据治理的工作已经被越来越多的公司提上了日程。作为Hadoop生态最紧密的元数据管理与发现工具，Atlas在其中扮演着重要的位置。但是其官方文档不是很丰富，也不够详细。所以整理了这份文档供大家学习使用。 本文档基于Atlas2.1.0版本，整理自部分官网内容，各种博客 ...

1. 介绍 Apache Atlas使用各种系统并与之交互，为数据管理员提供元数据管理和数据血缘信息。通过适当地选择和配置这些依赖关系，可以使用Atlas实现高度的服务可用性。本文档介绍了Atlas中的高可用性支持状态，包括其功能和当前限制，以及实现此高级别可用性所需的配置。 在高级架构章节 ...

背景：笔者和团队的小伙伴近期在进行数据治理/元数据管理方向的探索, 在接下来的系列文章中, 会陆续与读者们进行分享在此过程中踩过的坑和收获。 元数据管理系列文章： [0] - 使用Atlas进行元数据管理之Atlas简介 [1] - 使用Atlas进行元数据管理之Glossary ...

背景：笔者和团队的小伙伴近期在进行数据治理/元数据管理方向的探索, 在接下来的系列文章中, 会陆续与读者们进行分享在此过程中踩过的坑和收获。 元数据管理系列文章： [0] - 使用Atlas进行元数据管理之Atlas简介 [1] - 使用Atlas进行元数据管理之Glossary ...

一、前言 元数据管理是数据治理非常重要的一个方向，元数据的一致性，可追溯性，是实现数据治理非常重要的一个环节。传统数据情况下，有过多种相对成熟的元数据管理工具，而大数据时代，基于hadoop，最为成熟的，与Hadoop兼容性最好的元数据治理平台则是Apache Atlas ...