Hadoop集群上搭建Ranger


There are two types of people in the world. I hate both of them.

 

Hadoop集群上搭建Ranger

在搭建Ranger工程之前,需要完成 https://www.cnblogs.com/taojietaoge/p/10803537.html 中的搭建Hadoop集群步驟。

准備到Ranger官網下載ranger的源碼:http://ranger.apache.org/download.html

1、Ranger編譯

Ranger編譯的過程實在非虛擬機環境下完成的,下載好ranger源碼后並解壓,然后進入源碼解壓目錄執行如下命令進行編譯:

mvn clean compile package assembly:assembly install -Dmaven.test.skip=true

在編譯過程中可能會有一些異常,比如jar包無法下載(需要手動需官網下載並放入相應的位置)、UTF-8編碼無法識別或是其他報錯,根據提示修改下就OK了,問題不大;初次編譯時間較長20分鍾這樣都不誇張,直到出現如下圖中的 BUILD SUCCESS 則表示編譯通過了:

同時會在ranger/target目錄下生成我們之后需要在虛擬機上用到的一系列安裝包,如下圖:

2、安裝部署

在安裝部署之前,還需在要部署的服務器服務器上安裝下Mysql:https://www.cnblogs.com/taojietaoge/p/10692557.html

1)上傳之前本地編譯好的ranger-2.0.0-SNAPSHOT-admin.tar.gz文件到tjt03機器上,並解壓,然后修改解壓后到install.properties文件;

解壓:

[root@tjt03 opt]# tar -vxf ranger-2.0.0-SNAPSHOT-admin.tar.gz

修改install.properties 文件:

[root@tjt03 opt]# cd ranger-2.0.0-SNAPSHOT-admin/ [root@tjt03 ranger-2.0.0-SNAPSHOT-admin]# vi install.properties 

想要修改的地方有幾處:

1. mysql-connector-java的jar包路徑要能找得到:

SQL_CONNECTOR_JAR=/usr/share/java/mysql-connector-java.jar

 

2. 修改連接數據庫的賬號密碼、存儲的數據庫賬號密碼:

db_root_user=root db_root_password=TANjintao@520
db_host=localhost

db_name
=ranger
db_user
=rangeradmin
db_password
=TANjintao@520

3. 修改為非集群:

# audit_store=solr audit_store=

4. 修改首頁顯示的插件:

policymgr_supportedcomponents=hive,hbase,hdfs,kms,knox,yarn

5. 修改Linux的用戶、用戶組和密碼:

unix_user=root unix_user_pwd=tanjintao unix_group=root

6. 修改hadoop_conf:

hadoop_conf=/opt/hadoop-2.7.6/etc/hadoop

2) 安裝Ranger Admin

Ranger Admin的運行環境需要python,執行 yum install python 簡單安裝下python即可:

[root@tjt03 ranger-2.0.0-SNAPSHOT-admin]# yum install python

然后,創建ranger數據庫:

mysql> create database ranger

然后,修改下ranger數據庫的字符集,執行下面的命令:

mysql>alter database ranger character set latin1; mysql>flush privileges;

然后,創建用戶並授權,執行下面的命令即可:

grant all privileges on ranger.* to rangeradmin@localhost identified by 'TANjintao@520'; grant all privileges on *.* to root@localhost identified by 'TANjintao@520' with grant option; flush privileges;

上述的准備工作都OK后,就可以進入ranger-2.0.0-SNAPSHOT-admin目錄執行安裝命令:

[root@tjt03 ranger-2.0.0-SNAPSHOT-admin]# ./setup.sh

安裝過程大概幾分鍾,終端顯示安裝成功后,本地連接遠程服務器的數據庫檢查下是否有相應的數據庫和表:

需要在tjt03機器上授權后才可以在本地連接遠程數據庫,執行如下命令:

mysql> GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'TANjintao@520' WITH GRANT OPTION;

看到遠程數據庫如下圖,就說明Ranger Admin安裝成功了:

3)啟動Ranger Admin 服務

[root@tjt03 ~]# ranger-admin start

(停止:ranger-admin stop ,重啟:ranger-admin restart)

4)驗證Ranger Admin服務,在瀏覽器中打開:http://172.16.114.132:6080 或是 http://tjt03:6080 如果出現Ranger的登錄界面,說明安裝成功了. 登錄的用戶名/密碼:admin/admin

使用http://tjt03:6080  訪問需要配置下本機的host 文件,配置如下:

Taojie:~ apple$ vi /etc/hosts

5)結果測試

 可以正常登錄看到如下界面,則安裝OK:

tjt03域名登錄:admin/admin

3.2、安裝hdfs-plugins

由於之前定義了NameNode的地址為 hdfs://tjt01:9000,使用hdfs-plugins插件必須安裝在該主機上:

1)上傳並解壓ranger-2.0.0-SNAPSHOT-usersync.tar.gz 文件,然后修改install.properties;

[root@tjt01 opt]# tar -xzvf ranger-2.0.0-SNAPSHOT-usersync.tar.gz

[root@tjt01 ranger-2.0.0-SNAPSHOT-usersync]# vi install.properties 

修改1:

POLICY_MGR_URL=http://tjt03:6080
logdir=/var/log/ranger/usersync

修改2:

rangerUsersync_password=enums8000

2)安裝usersync Plugin

[root@tjt01 ranger-2.0.0-SNAPSHOT-usersync]# ./setup.sh

執行結果:

3)啟用usersync plugin插件

開機回自動啟動,初次安裝需要手動開啟

[root@tjt01 ranger-2.0.0-SNAPSHOT-usersync]# ./ranger-usersync-services.sh start

3.3.2 安裝hdfs-plugin

1)上傳並解壓ranger-2.0.0-SNAPSHOT-hdfs-plugin.tar.gz 文件

[root@tjt01 opt]# tar -xzvf ranger-2.0.0-SNAPSHOT-hdfs-plugin.tar.gz 

然后修改解壓出來的 install.properties 文件:

[root@tjt01 ranger-2.0.0-SNAPSHOT-hdfs-plugin]# vi install.properties

修改如下:

POLICY_MGR_URL=http://tjt03:6080
REPOSITORY_NAME=hadoopdev COMPONENT_INSTALL_DIR_NAME=/opt/hadoop-2.7.6 XAAUDIT.HDFS.HDFS_DIR=hdfs://tjt01:9000/ranger/audit 
XAAUDIT.HDFS.DESTINATION_DIRECTORY=hdfs://tjt01:9000/ranger/audit/%app-
type%/%time:yyyyMMdd% CUSTOM_USER=root CUSTOM_GROUP=root

2)執行啟動命令

[root@tjt01 ranger-2.0.0-SNAPSHOT-hdfs-plugin]# ./enable-hdfs-plugin.sh 

3)測試hdfs 插件

新建hdfs 服務:

測試hdfs 服務連接:

3.3 安裝hive-plugin

1)上傳並解壓ranger-2.0.0-SNAPSHOT-hive-plugin.tar.gz;

[root@tjt01 opt]# tar -xzvf ranger-2.0.0-SNAPSHOT-hive-plugin.tar.gz

然后修改install.properties文件;

[root@tjt01 ranger-2.0.0-SNAPSHOT-hive-plugin]# vi install.properties 

修改如下:

POLICY_MGR_URL=http://tjt03:6080
REPOSITORY_NAME=hivedev COMPONENT_INSTALL_DIR_NAME=/usr/local/hive CUSTOM_USER=root CUSTOM_GROUP=root

2)執行啟動命令:

[root@tjt01 ranger-2.0.0-SNAPSHOT-hive-plugin]# ./enable-hive-plugin.sh 

3)重啟hive

3.4 安裝hbase-plugin

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM