Apache Atlas 簡介
Apache Atlas是Hadoop社區為解決Hadoop生態系統的元數據治理問題而產生的開源項目,它為Hadoop集群提供了包括數據分類、集中策略引擎、數據血緣、安全和生命周期管理在內的元數據治理核心能力。
准備:
1.ubuntu 18.04
2.apache-atlas 源碼包:apache-atlas-1.0.0-sources.tar.gz
3.maven 安裝包:apache-maven-3.5.4-bin.tar.gz
4.jdk 安裝包: jdk-8u212-linux-x64.tar.gz
(jdk-8u212-linux-x64.tar.gz,apache-atlas-2.0.0-sources.tar.gz,apache-maven-3.6.1-bin.tar.gz用此方法也成功)
一、安裝jdk
1. sudo mkdir /usr/local/java 創建單獨目錄
2. sudo tar -zxvf jdk-8u212-linux-x64.tar.gz -C /usr/local/java 解壓縮到
------------------------------------------------------------------------------------------------------------------------------
配置環境變量
sudo gedit /etc/environment
添加
PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:$JAVA_HOME/bin"
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export JAVA_HOME=/usr/local/java/jdk1.8.0_212
------------------------------------------------------------------------------------------------------------------------------
使環境變量立刻生效
source /etc/environment
------------------------------------------------------------------------------------------------------------------------------
配置所有用戶的環境變量
sudo gedit /etc/profile
在文本末尾添加
#set Java environment
export JAVA_HOME=/usr/local/java/jdk1.8.0_212
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
------------------------------------------------------------------------------------------------------------------------------
執行全局設置立刻生效命令
source /etc/profile
------------------------------------------------------------------------------------------------------------------------------
執行命令
sudo shutdown -r now
輸入密碼重啟
------------------------------------------------------------------------------------------------------------------------------
輸入 java -version 檢查環境
二、安裝maven
1. sudo mkdir /opt/maven 創建單獨目錄
2. sudo tar -zxvf apache-maven-3.5.4-bin.tar.gz -C /opt/maven && cd /opt/maven 解壓縮到
3. sudo ln -s /opt/maven/apache-maven-3.5.4/bin/mvn /usr/bin/mvn 新建軟鏈
5. mvn -v 測試是否配置成功
4. 配置阿里雲Maven國內可用倉庫
修改Maven根目錄下的conf文件夾中的setting.xml文件,代碼如下:
<mirrors> <mirror> <id>alimaven</id> <name>aliyun maven</name> <url>http://maven.aliyun.com/nexus/content/groups/public/</url> <mirrorOf>central</mirrorOf> </mirror> </mirrors>
三、編譯 Apache Atlas
1. sudo tar -zxvf apache-atlas-1.0.0-sources.tar.gz 解壓縮
2. cd apache-atlas-sources-1.0.0 進入目錄
3. export MAVEN_OPTS="-Xms2g -Xmx4g" 配置堆大小
4. 編譯、兩種方法選其一
一、mvn clean -DskipTests package -Pdist 編譯命令,注意該方式編譯不會內嵌HBase和Solr
二、mvn clean -DskipTests package -Pdist,embedded-hbase-solr 采用這種編譯方式會內嵌HBase和Solr,測試用這種方式
(這里可能會報錯,開啟su管理員模式)
編譯完成后的jar包位於目錄:\apache-atlas-sources-1.1.0\distro\target 中
四、部署Apache Atlas
1. sudo mkdir /opt/apache-atlas 新建
2. cd ~/apache-atlas-sources-1.0.0/distro/target
找到編譯好的文件
3. sudo tar -zxvf apache-atlas-1.0.0-bin.tar.gz -C /opt/apache-atlas 解壓
4. cd /opt/apache-atlas/apache-atlas-1.0.0 用內嵌的 hbase 和 solr 啟動,配置hbase和solr跟隨atlas啟動和停止
export MANAGE_LOCAL_HBASE=true
export MANAGE_LOCAL_SOLR=true
sudo bin/atlas_start.py
#需要用python2
5. sudo bin/quick_start.py 添加自帶例子
6. 管理界面登錄入口 http://localhost:21000 用戶名:admin 密碼:admin
7. sudo bin/atlas_stop.py 停止