1. 概述
Apache Ranger是大數據領域的一個集中式安全管理框架，目的是通過制定策略（policies）實現對Hadoop組件的集中式安全管理。用戶可以通過Ranger實現對集群中數據的安全訪問。
2. Ranger內部組件
Ranger由三個模塊組成：Ranger內部組件、依賴組件、擴展性組件。
2.1 內部組件
包含的內部組件如下：
- Ranger Admin 用戶管理策略，提供WebUI和RestFul接口
- Ranger UserSync 用於將Unix系統或LDAP用戶/組同步到RangerAdmin
- Ranger TagSync 同步Atlas中的Tag信息，基於標簽的權限管理，當一個用戶的請求涉及到多個應用系統中的多個資源的權限時，可以通過只配置這些資源的tag方便快速的授權
- Ranger KMS 對hadoop KMS的策略管理和密鑰管理
注：Apache atlas 是Hadoop社區為解決Hadoop生態系統的元數據治理問題而產生的開源項目，它為Hadoop集群提供了包括數據分類、集中策略引擎、數據血緣、安全和生命周期管理在內的元數據治理核心能力。
2.2 依賴組件
- JDK8 用於運行RangerAdmin、RangerKMS
- Python2.7 用於Ranger自動化安裝
- Git 用於Ranger編譯
- Maven3.6 用於Ranger編譯
- RDMS 用於存儲授權策略，存儲Ranger用戶/組，存儲審核日志
- Solr(可選) 存儲日志
- Kerberos(可選) 確保所有請求都被認證
2.3 擴展性組件
HDFS、HBASE、HIVE、YARN、KNOX、STORM、SOLR、KAFKA、NIFI、KYLIN、NIFI-REGISTRY、SQOOP、ATLAS、ELASTICSEARCH、PRESTO、OZONE
2.4 總體架構
3. Ranger編譯
Ranger官網源碼包版本是1.2.0，不提供二進制安裝包，故需要maven編譯。目前測試使用的版本為：
| ranger版本 | 1.2.0 |
| hadoop版本 | 2.7.3 |
| hbase版本 | |
| hive版本 | 2.1.0 |
| postgres版本 | 11 |
| python版本 | 2.7 |
3.1 官網下載源碼包
# wget http://mirrors.tuna.tsinghua.edu.cn/apache/ranger/1.2.0/apache-ranger-1.2.0.tar.gz
3.2 下載maven
編譯安裝需要使用到maven，下載如下：
# wget http://mirrors.tuna.tsinghua.edu.cn/apache/maven/maven-3/3.6.2/binaries/apache-maven-3.6.2-bin.tar.gz
解壓，並添加環境變量，同時修改maven的Java堆內存最大值，避免編譯內存溢出
# tar -zxvf apache-maven-3.6.2-bin.tar.gz # vim /etc/bashrc export MAVEN_HOME=/opt/app/apache-maven-3.6.2 export PATH=$PATH:$MAVEN_HOME/bin MAVEN_OPTS=-Xmx2048m export JAVA_HOME MAVEN_HOME MAVEN_OPTS JAVA_BIN PATH CLASSPATH
修改maven源為阿里源或其他源
# pwd /opt/app/apache-maven-3.6.2/conf # vim settings.xml <mirrors> <mirror> <id>nexus-aliyun</id> <mirrorOf>central</mirrorOf> <name>Nexus aliyun</name> <url>http://maven.aliyun.com/nexus/content/groups/public</url> </mirror> <mirror> <id>CN</id> <name>OSChina Central</name> <url>http://maven.oschina.net/content/groups/public/</url> <mirrorOf>central</mirrorOf> </mirror> <mirror> <id>alimaven</id> <mirrorOf>central</mirrorOf> <name>aliyun maven</name> <url>https://maven.aliyun.com/nexus/content/repositories/central/</url> </mirror> <mirror> <id>jboss-public-repository-group</id> <mirrorOf>central</mirrorOf> <name>JBoss Public Repository Group</name> <url>https://repository.jboss.org/nexus/content/groups/public</url> </mirror> </mirrors>
3.3 安裝git
編譯ranger依賴git，需要安裝git
yum -y install git
3.4 安裝python2
編譯機器上的python必須為python2，不能是python3，否則編譯時會報錯
yum -y install python2
3.5 編譯Ranger
首次編譯ranger，需要時間比較長，時間主要用於maven下載相應的依賴包，時間快慢取決於機器網絡帶寬。
# pwd /opt/app/apache-ranger-1.2.0 # mvn clean compile package assembly:assembly install -DskipTests -Drat.skip=true
編譯完成如下：
編譯完成后，在當前目錄下的target會生成相應的tar包文件，如下：
3.6 編譯Ranger遇到的問題
3.6.1 exec failonerror="true" executable="python
問題描述：
[INFO] ------------------------------------------------------------------------ [ERROR] Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.7:run (generate-version-annotation) on project ranger-util: An Ant BuildException has occured: exec returned: 1 [ERROR] around Ant part ...<exec failonerror="true" executable="python">... @ 4:48 in /data/apache-ranger-1.0.0/ranger-util/target/antrun/build-main.xml [ERROR] -> [Help 1] org.apache.maven.lifecycle.LifecycleExecutionException: Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.7:run (generate-version-annotation) on project ranger-util: An Ant BuildException has occured: exec returned: 1 around Ant part ...<exec failonerror="true" executable="python">... @ 4:48 in /data/apache-ranger-1.0.0/ranger-util/target/antrun/build-main.xml
如圖：
解決方法：這里需要檢查是否編譯的機器是否安裝了git，安裝的是否是python2，不能安裝python3。
安裝git $ yum -y install git 在shell界面直接運行python，看是python2或python3。python3則需要卸載 $ yum-y remove python3 沒有python2則需要安裝 $ yum -y install python2
4. Ranger-admin安裝部署
安裝ranger-admin的機器可以不在Hadoop集群內部，可以是隨便一台。
4.1 准備
4.1.1 檢測是否安裝python2
# python Python 2.7.5 (default, Aug 4 2017, 00:39:18) [GCC 4.8.5 20150623 (Red Hat 4.8.5-16)] on linux2 Type "help", "copyright", "credits" or "license" for more information. >>> 如果沒有檢測到python2，則執行下面的命令 # yum -y install python
4.1.2 postgres數據庫安裝以及下載驅動包
請自行百度安裝，在postgres安裝目錄 data下修改pg_hba.conf文件，使postgres可以被遠程服務器訪問，修改為如下：
# Allow replication connections from localhost, by a user with the # replication privilege. #host replication all 127.0.0.1/32 md5 #host replication all ::1/128 md5 host all all 0.0.0.0/0 md5
從maven源庫下載，https://repo1.maven.org/maven2/org/postgresql/postgresql/42.2.8/
把postgresql-42.2.8.jar下載，並創建 /usr/share/java/ 目錄，最后轉移到該目錄下
# wget https://repo1.maven.org/maven2/org/postgresql/postgresql/42.2.8/postgresql-42.2.8.jar # mkdir -p /usr/share/java # mv postgresql-42.2.8.jar /usr/share/java/
4.2 解壓ranger-admin軟件包
# pwd /opt/app/apache-ranger-2.0.0/target # tar -zxvf ranger-2.0.0-admin.tar.gz
4.3 修改install.properties文件
# pwd /opt/app/apache-ranger-2.0.0/target/ranger-2.0.0-admin # vim install.properties
修改install.properties文件，這里使用的數據庫是postgres，不安裝solr服務
1）數據庫配置 DB_FLAVOR=POSTGRES #指明使用數據庫類型 SQL_CONNECTOR_JAR=/usr/share/java/postgresql-42.2.8.jar #數據庫連接驅動 db_root_user=postgres #數據庫root用戶名 db_root_password=postgres #數據庫主機 db_host=192.168.1.33:5432 #數據庫密碼 # 以下三個屬性是用於設置ranger數據庫的 db_name=ranger #數據庫名 db_user=postgres #管理該數據庫用戶 db_password=postgres #密碼 # 不需要保存，為空，否則生成的數據庫密碼為'_' cred_keystore_filename= 2) 審計日志， 如果沒有安裝solr，對應的屬性值為空即可 audit_store= audit_solr_urls= audit_solr_user= audit_solr_password= audit_solr_zookeepers= 3）策略管理配置，配置ip和端口，默認即可 policymgr_external_url=http://localhost:6080 4) 配置hadoop集群的core-site.xml文件，把core-site.xml文件拷貝到該目錄 hadoop_conf=/etc/hadoop/conf 5) rangerAdmin、rangerTagSync、rangerUsersync、keyadmin密碼配置。默認為空，可以不配，對應的內部組件該屬性也要為空 rangerAdmin_password= rangerTagsync_password= rangerUsersync_password= keyadmin_password=
4.4 初始化ranger-admin
# pwd /opt/frame-tools/apache-ranger-2.0.0/target/ranger-2.0.0-admin # ./setup.sh
初始化結果如下則成功：
接着，運行set_globals.sh
# ./set_globals.sh usermod: no changes [2019/11/27 21:54:32]: [I] Soft linking /etc/ranger/admin/conf to ews/webapp/WEB-INF/classes/conf
4.5 啟動ranger-admin
# ranger-admin start 或者 # ./ews/ranger-admin-services.sh start
Ranger的默認端口是6080，如圖，則表明程序正常啟動
查看Ranger Admin Server運行的日志情況，日志路徑默認為 ews/log ， 軟鏈接到 /var/log/admin ，如下：
Ranger Admin Server的具體配置文件為 ranger-admin-site.xml ，如下：
瀏覽器連接測試：http://192.168.1.10:6080，登錄界面用戶名和密碼為：admin/admin，登錄進去界面如下：
5. Ranger-usersync安裝部署
5.1 解壓ranger-usersync軟件包
# pwd /opt/frame-tools/apache-ranger-2.0.0/target # tar -zxvf ranger-2.0.0-usersync.tar.gz
5.2 修改install.property文件
# pwd /opt/app/apache-ranger-2.0.0/target/ranger-2.0.0-usersync # vim install.properties 配置ranger admin的地址 POLICY_MGR_URL = http://localhost:6080 同步源系統類型 SYNC_SOURCE = unix 同步間隔時間 SYNC_INTERVAL = 1 usersync程序運行的用戶和用戶組 unix_user=usersync unix_group=usersync 修改rangerusersync用戶的密碼。注意，此密碼應與Ranger admin中install.properties的rangerusersync_password相同。此處可以為空，同樣Ranger admin的也要為空 rangerUsersync_password= 配置hadoop的core-site.xml路徑 hadoop_conf=/etc/hadoop/conf 配置usersync的log路徑 logdir=logs
5.3 初始化ranger-usersync
# pwd /opt/app/apache-ranger-2.0.0/target/ranger-2.0.0-usersync # ./setup.sh
執行結果：
5.4 啟動ranger-usersync
# ranger-usersync start 或 # pwd /opt/frame-tools/apache-ranger-2.0.0/target/ranger-2.0.0-usersync # ./ranger-usersync-services.sh start
驗證是否安裝成功，如圖則成功：
總結
【參考資料】
https://yaooqinn.github.io/spark-authorizer/docs/install_plugin.html
https://github.com/yaooqinn/spark-ranger
https://blog.csdn.net/sudaxhh/article/details/52135184
https://blog.csdn.net/w609392362/article/details/89959445
https://www.cnblogs.com/xiaolang8762400/p/7449489.html
https://help.aliyun.com/document_detail/66411.html
https://www.cnblogs.com/yjt1993/p/11837398.html
https://www.lagou.com/lgeduarticle/7838.html
https://www.jianshu.com/p/d0bf6e77bb8f
https://www.cnblogs.com/taojietaoge/p/10808534.html
https://www.cnblogs.com/jpfss/p/11021948.html Linux下LDAP統一認證解決方案