為什么要做數據治理? 業務繁多,數據繁多,業務數據不斷迭代。人員流動,文檔不全,邏輯不清楚,對於數據很難直觀理解,后期很難維護。
在大數據研發中,原始數據就有着非常多的數據庫,數據表。
而經過數據的聚合以后,又會有很多的維度表。如果想要對這些數據做好管理,光用文字、文檔等東西是不夠的,必須用圖。
Atlas就是把元數據變成圖的工具。

Atlas是一組可擴展和可擴展的核心基礎治理服務,使企業能夠有效地滿足Hadoop中的合規性要求,並允許與整個企業數據生態系統集成。
Apache Atlas為組織提供開放的元數據管理和治理功能,以建立其數據資產的目錄,對這些資產進行分類和治理,並為數據科學家,分析師和數據治理團隊提供圍繞這些數據資產的協作功能。
那么如何安裝並使用Altas呢?
Atlas的安裝坑較多,本教程將詳細介紹Atlas2.1.0整個安裝過程,有任何問題歡迎關注 實時流式計算
后台留言~
下載
請前往官網 https://atlas.apache.org/#/Downloads
下載對應版本的源碼包 本文使用最新的 2.1.0版本

國內站點 速度要快一些
https://mirrors.tuna.tsinghua.edu.cn/apache/atlas/2.1.0/apache-atlas-2.1.0-sources.tar.gz
編譯
比較難受的是 Atlas不提供安裝包 下載的是源碼包 需要自行編譯打包
注意,需要先安裝maven,因為這是使用maven開發的java web工程。maven3.6.3版本即可
安裝maven
一些下載地址
http://maven.apache.org/download.cgi
上傳到linux的/usr/local目錄
cd /usr/local
解壓文件
tar -zxvf apache-maven-3.6.3-bin.tar.gz
配置環境變量
vi /etc/profile
export MAVEN_HOME=/usr/local/apache-maven-3.6.3
export PATH=MAVEN_HOME/bin:PATH
刷新環境變量
source /etc/profile
檢查版本
mvn -v

配置好maven的環境變量
注意國內需要配置好maven的國內鏡像,一般使用阿里,華為,清華等鏡像
vi /usr/local/apache-maven-3.6.3/conf/settings.xml
<mirror>
<id>alimaven</id>
<name>aliyun maven</name>
<url>http://maven.aliyun.com/nexus/content/groups/public/</url>
<mirrorOf>central</mirrorOf>
</mirror>
把這個setting.xml 拷貝到 ~/.m2/
cp settings.xml .m2/
編譯Atlas
解壓源碼包
tar -zxvf apache-atlas-2.1.0-sources.tar.gz
1.修改atlas源碼工程的pom.xml
將hbase zookeeper hive等依賴的版本修改成自己環境中一致的版本(或者兼容的版本)
父工程pom文件
<zookeeper.version>3.4.14</zookeeper.version>
<hbase.version>2.2.3</hbase.version>
<solr.version>7.7.2</solr.version>
2.執行maven編譯打包
atlas可以使用內嵌的hbase-solr作為底層索引存儲和搜索組件,也可以使用外置的hbase和solr
如果要使用內嵌的hbase-solr,則使用如下命令進行編譯打包
cd apache-atlas-sources-2.1.0/
export MAVEN_OPTS="-Xms2g -Xmx2g"
mvn clean -DskipTests package -Pdist,embedded-hbase-solr
不用內置就這樣 mvn clean -DskipTests package -Pdist
改完路徑還會非常快的 耐心等待

atlas的webui子模塊中依賴了nodejs,會從nodejs的中央倉庫去下載相關依賴庫
編譯完成之后,會產生打包結果,所在位置是:源碼目錄中的新出現的distro/target目錄
- 注意,這里產出的有壓縮包也有解壓后的包。這里面的hook包,可以看到有各種平台的hook包。
- 顧名思義,這就是鈎子包,也就是各個大數據框架會提供各種生命周期回調函數,並且將相關信息以數據方式提供出來。這些鈎子就可以去監聽和接收數據
如果沒有錯誤 並看到一排success就是成功了

踩坑大全:
包下載失敗
在Atlas編譯過程中,遇到最多的就是包下載失敗的問題,這和當前網絡有很大的關系。
選擇網速較好的網絡。

還有一種解決辦法就是去官網上找一下,如果真沒有就切換到爭取的maven源

了解大數據實時計算 感受數據流動之美 歡迎關注 大數據流動

