There are two types of people in the world. I hate both of them.
Hadoop集群上搭建Ranger
在搭建Ranger工程之前,需要完成 https://www.cnblogs.com/taojietaoge/p/10803537.html 中的搭建Hadoop集群步驟。
准備到Ranger官網下載ranger的源碼:http://ranger.apache.org/download.html
1、Ranger編譯
Ranger編譯的過程實在非虛擬機環境下完成的,下載好ranger源碼后並解壓,然后進入源碼解壓目錄執行如下命令進行編譯:
mvn clean compile package assembly:assembly install -Dmaven.test.skip=true
在編譯過程中可能會有一些異常,比如jar包無法下載(需要手動需官網下載並放入相應的位置)、UTF-8編碼無法識別或是其他報錯,根據提示修改下就OK了,問題不大;初次編譯時間較長20分鍾這樣都不誇張,直到出現如下圖中的 BUILD SUCCESS 則表示編譯通過了:
同時會在ranger/target目錄下生成我們之后需要在虛擬機上用到的一系列安裝包,如下圖:
2、安裝部署
在安裝部署之前,還需在要部署的服務器服務器上安裝下Mysql:https://www.cnblogs.com/taojietaoge/p/10692557.html
1)上傳之前本地編譯好的ranger-2.0.0-SNAPSHOT-admin.tar.gz文件到tjt03機器上,並解壓,然后修改解壓后到install.properties文件;
解壓:
[root@tjt03 opt]# tar -vxf ranger-2.0.0-SNAPSHOT-admin.tar.gz
修改install.properties 文件:
[root@tjt03 opt]# cd ranger-2.0.0-SNAPSHOT-admin/ [root@tjt03 ranger-2.0.0-SNAPSHOT-admin]# vi install.properties
想要修改的地方有幾處:
1. mysql-connector-java的jar包路徑要能找得到:
SQL_CONNECTOR_JAR=/usr/share/java/mysql-connector-java.jar
2. 修改連接數據庫的賬號密碼、存儲的數據庫賬號密碼:
db_root_user=root db_root_password=TANjintao@520
db_host=localhost
db_name=ranger
db_user=rangeradmin
db_password=TANjintao@520
3. 修改為非集群:
# audit_store=solr audit_store=
4. 修改首頁顯示的插件:
policymgr_supportedcomponents=hive,hbase,hdfs,kms,knox,yarn
5. 修改Linux的用戶、用戶組和密碼:
unix_user=root unix_user_pwd=tanjintao unix_group=root
6. 修改hadoop_conf:
hadoop_conf=/opt/hadoop-2.7.6/etc/hadoop
2) 安裝Ranger Admin
Ranger Admin的運行環境需要python,執行 yum install python 簡單安裝下python即可:
[root@tjt03 ranger-2.0.0-SNAPSHOT-admin]# yum install python
然后,創建ranger數據庫:
mysql> create database ranger
然后,修改下ranger數據庫的字符集,執行下面的命令:
mysql>alter database ranger character set latin1; mysql>flush privileges;
然后,創建用戶並授權,執行下面的命令即可:
grant all privileges on ranger.* to rangeradmin@localhost identified by 'TANjintao@520'; grant all privileges on *.* to root@localhost identified by 'TANjintao@520' with grant option; flush privileges;
上述的准備工作都OK后,就可以進入ranger-2.0.0-SNAPSHOT-admin目錄執行安裝命令:
[root@tjt03 ranger-2.0.0-SNAPSHOT-admin]# ./setup.sh
安裝過程大概幾分鍾,終端顯示安裝成功后,本地連接遠程服務器的數據庫檢查下是否有相應的數據庫和表:
需要在tjt03機器上授權后才可以在本地連接遠程數據庫,執行如下命令:
mysql> GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'TANjintao@520' WITH GRANT OPTION;
看到遠程數據庫如下圖,就說明Ranger Admin安裝成功了:
3)啟動Ranger Admin 服務
[root@tjt03 ~]# ranger-admin start
(停止:ranger-admin stop ,重啟:ranger-admin restart)
4)驗證Ranger Admin服務,在瀏覽器中打開:http://172.16.114.132:6080 或是 http://tjt03:6080 如果出現Ranger的登錄界面,說明安裝成功了. 登錄的用戶名/密碼:admin/admin
使用http://tjt03:6080 訪問需要配置下本機的host 文件,配置如下:
Taojie:~ apple$ vi /etc/hosts
5)結果測試
可以正常登錄看到如下界面,則安裝OK:
tjt03域名登錄:admin/admin
3.2、安裝hdfs-plugins
由於之前定義了NameNode的地址為 hdfs://tjt01:9000,使用hdfs-plugins插件必須安裝在該主機上:
1)上傳並解壓ranger-2.0.0-SNAPSHOT-usersync.tar.gz 文件,然后修改install.properties;
[root@tjt01 opt]# tar -xzvf ranger-2.0.0-SNAPSHOT-usersync.tar.gz
[root@tjt01 ranger-2.0.0-SNAPSHOT-usersync]# vi install.properties
修改1:
POLICY_MGR_URL=http://tjt03:6080
logdir=/var/log/ranger/usersync
修改2:
rangerUsersync_password=enums8000
2)安裝usersync Plugin
[root@tjt01 ranger-2.0.0-SNAPSHOT-usersync]# ./setup.sh
執行結果:
3)啟用usersync plugin插件
開機回自動啟動,初次安裝需要手動開啟
[root@tjt01 ranger-2.0.0-SNAPSHOT-usersync]# ./ranger-usersync-services.sh start
3.3.2 安裝hdfs-plugin
1)上傳並解壓ranger-2.0.0-SNAPSHOT-hdfs-plugin.tar.gz 文件
[root@tjt01 opt]# tar -xzvf ranger-2.0.0-SNAPSHOT-hdfs-plugin.tar.gz
然后修改解壓出來的 install.properties 文件:
[root@tjt01 ranger-2.0.0-SNAPSHOT-hdfs-plugin]# vi install.properties
修改如下:
POLICY_MGR_URL=http://tjt03:6080
REPOSITORY_NAME=hadoopdev COMPONENT_INSTALL_DIR_NAME=/opt/hadoop-2.7.6 XAAUDIT.HDFS.HDFS_DIR=hdfs://tjt01:9000/ranger/audit
XAAUDIT.HDFS.DESTINATION_DIRECTORY=hdfs://tjt01:9000/ranger/audit/%app-
type%/%time:yyyyMMdd% CUSTOM_USER=root CUSTOM_GROUP=root
2)執行啟動命令
[root@tjt01 ranger-2.0.0-SNAPSHOT-hdfs-plugin]# ./enable-hdfs-plugin.sh
3)測試hdfs 插件
新建hdfs 服務:
測試hdfs 服務連接:
3.3 安裝hive-plugin
1)上傳並解壓ranger-2.0.0-SNAPSHOT-hive-plugin.tar.gz;
[root@tjt01 opt]# tar -xzvf ranger-2.0.0-SNAPSHOT-hive-plugin.tar.gz
然后修改install.properties文件;
[root@tjt01 ranger-2.0.0-SNAPSHOT-hive-plugin]# vi install.properties
修改如下:
POLICY_MGR_URL=http://tjt03:6080
REPOSITORY_NAME=hivedev COMPONENT_INSTALL_DIR_NAME=/usr/local/hive CUSTOM_USER=root CUSTOM_GROUP=root
2)執行啟動命令:
[root@tjt01 ranger-2.0.0-SNAPSHOT-hive-plugin]# ./enable-hive-plugin.sh
3)重啟hive
3.4 安裝hbase-plugin