基於LDAP認證的大數據權限解決方案


● 系統環境說明

Linux環境:centos7.4
CDH:5.16.1
Java:1.8.0_131
LDAP版本:2.4.44

● 集群配置

機器數量:50
內存:64G
硬盤:4T
CPU核心數:32

Ldap的具體概念可以參照我的另一篇文章
https://www.cnblogs.com/daemonyue/p/13037731.html

LDAP部署

主節點作為LDAP服務器

安裝

yum install db4 db4-utils db4-devel cyrus-sasl* krb5-server-ldap -y
yum install openldap openldap-servers openldap-clients openldap-devel compat-openldap -y

配置

更新配置庫:

rm -rf /var/lib/ldap/*
cp /usr/share/openldap-servers/DB_CONFIG.example /var/lib/ldap/DB_CONFIG
chown -R ldap.ldap /var/lib/ldap

配置數據存儲位置即目錄:/etc/openldap/slapd.d
盡量不要直接編輯改目錄的文件,建議使用ldapadd,ldapdelete,ldapmodify等命令來修改

默認配置文件保存在 /etc/openldap/slapd.d,將其備份:

cp -rf /etc/openldap/slapd.d /etc/openldap/slapd.d.bak

添加一些基本配置,並引入openldap的schema:

touch /etc/openldap/slapd.conf
echo "include /etc/openldap/schema/corba.schema
include /etc/openldap/schema/core.schema
include /etc/openldap/schema/cosine.schema
include /etc/openldap/schema/duaconf.schema
include /etc/openldap/schema/dyngroup.schema
include /etc/openldap/schema/inetorgperson.schema
include /etc/openldap/schema/java.schema
include /etc/openldap/schema/misc.schema
include /etc/openldap/schema/nis.schema
include /etc/openldap/schema/openldap.schema
include /etc/openldap/schema/ppolicy.schema
include /etc/openldap/schema/collective.schema" > /etc/openldap/slapd.conf
echo -e "pidfile /var/run/openldap/slapd.pid\nargsfile /var/run/openldap/slapd.args" >> /etc/openldap/slapd.conf

更新slapd.d

slaptest -f /etc/openldap/slapd.conf -F /etc/openldap/slapd.d
chown -R ldap:ldap /etc/openldap/slapd.d && chmod -R 700 /etc/openldap/slapd.d

啟動服務

chkconfig --add slapd chkconfig --level 345 slapd on /etc/init.d/slapd start

查看狀態,驗證服務端口:

ps -ef | grep slapd | grep -v grep
netstat -ntpl | grep :389

創建LDAP的數據庫

進入到/etc/openldap/slapd.d目錄,查看/etc/openldap/slapd.d/cn=config/olcDatabase={2}hdb.ldif
可以看到一些默認的配置,例如:

olcRootDN: cn=Manager,dc=my-domain,dc=com 
olcRootPW: secret 
olcSuffix: dc=my-domain,dc=com

建立modify.ldif文件,內容如下:

dn: olcDatabase={2}hdb,cn=config
changetype: modify
replace: olcSuffix
olcSuffix: dc=cdh.ai,dc=com 

dn: olcDatabase={2}hdb,cn=config
changetype: modify
replace: olcRootDN
# 只有該用戶有寫權限
olcRootDN: uid=ldapadmin,ou=people,dc=cdh.ai,dc=com 

dn: olcDatabase={2}hdb,cn=config
changetype: modify
add: olcRootPW
# root用戶的密碼
olcRootPW: admin 

dn: cn=config
changetype: modify
add: olcAuthzRegexp
olcAuthzRegexp: uid=([^,]*),cn=GSSAPI,cn=auth uid=$1,ou=people,dc=cdh.ai,dc=com 

dn: olcDatabase={2}hdb,cn=config
changetype: modify
add: olcAccess
# 所有人可讀
olcAccess: {0}to dn.base="" by * read
# 只有ldapadmin用戶可以寫
olcAccess: {1}to * by dn="uid=ldapadmin,ou=people,dc=cdh.ai,dc=com" write by * read

使用下面命令導入更新上面的這三個配置:

ldapmodify -Y EXTERNAL -H ldapi:/// -f modify.ldif

更新配置過程中出現錯誤:additional info: modify/add: olcRootPW: no equality matching rule,修改modify.ldif中對應選項的add為replace即可

導入linux系統用戶

安裝migrationtools工具:

yum install migrationtools -y

利用遷移工具生成模板,先修改默認的配置:

vim /usr/share/migrationtools/migrate_common.ph

71行默認的dns域名

DEFAULT_MAIL_DOMAIN = "CDH.AI.COM";

74行默認的base

DEFAULT_BASE = "dc=cdh.ai,dc=com";

生成模板文件:

/usr/share/migrationtools/migrate_base.pl > /opt/base.ldif

可以修改該文件,然后執行導入命令:

ldapadd -x -D "uid=ldapadmin,ou=people,dc=cdh.ai,dc=com" -w admin -f /opt/base.ldif

將當前節點上的用戶導入到 ldap 中,可以有選擇的導入指定的用戶:

先添加用戶:

useradd dy

查找系統上的dy用戶:

grep -E "dy" /etc/passwd > /opt/passwd.txt

生成用戶的ldif文件,然后導入到ldap:

/usr/share/migrationtools/migrate_passwd.pl /opt/passwd.txt /opt/passwd.ldif 
ldapadd -x -D "uid=ldapadmin,ou=people,dc=cdh.ai,dc=com" -w admin -f /opt/passwd.ldif

查找系統上的dy組:

grep -E "dy" /etc/group >/opt/group.txt

生成用戶組的ldif文件,然后導入到ldap:

/usr/share/migrationtools/migrate_group.pl /opt/group.txt /opt/group.ldif 
ldapadd -x -D "uid=ldapadmin,people,dc=cdh.ai,dc=com" -w root -f /opt/group.ldif

Hive集成LDAP

更改配置

在hive-site.xml中加入以下配置:

<property>
  <name>hive.server2.authentication</name>
  <value>LDAP</value>
</property>
<property>
  <name>hive.server2.authentication.ldap.url</name>
  <value>ldap://cdh01.ali.aiwaystack.com</value>
</property>
<property>
  <name>hive.server2.authentication.ldap.baseDN</name>
  <value>ou=people,dc=cdh.ai,dc=com</value>
</property>

CDH UI界面:

重啟Hive和Yarn服務

進入beeline測試:

beeline --verbose=true
beeline> !connect jdbc:hive2://cdh01.ali.aiwaystack.com:10000/default
輸入賬號密碼

Impala集成LDAP

更改配置

啟用 LDAP 身份驗證選項設置為true
Impala 命令行參數高級配置代碼段(安全閥)中添加-ldap_baseDN=ou=people,dc=cdh.ai,dc=com

CDH UI界面:

重啟Impala服務

Hue集成LDAP

在Hue中配置LDAP可以讓Hue直接使用LDAP所管理的賬號而不必在Hue中重新管理

在Hue的配置頁面中修改

● 身份驗證后端/backend為desktop.auth.backend.LdapBackend
● 登錄時創建 LDAP 用戶/create_users_on_login 設置為True
● 使用搜索綁定身份驗證/search_bind_authentication 設置為False

有兩種方法可以通過 Hue 使用目錄服務進行身份驗證:

● 搜索綁定
● 直接綁定

這里將使用直接綁定的方式,關於搜索綁定請參考Cloudera的文檔說明
以上的配置將在登錄Hue的時候自動創建默認情況下 Hue 中不存在的用戶

直接綁定將用於身份驗證的直接綁定機制將使用登錄時提供的用戶名和密碼綁定到 LDAP 服務器
使用直接綁定要設置一下兩個配置的其中之一:

nt_domain:僅限與 Active Directory 一起使用
ldap_username_pattern:為在身份驗證時最終將發送到目錄服務的 DN 提供了一個模板。 參數將被替換為登錄時提供的用戶名。
默認值:“uid=,ou=People,dc=mycompany,dc=com”
在nt_domain未指定的情況下將使用ldap_username_pattern配置值進行LDAP賬號檢索
在Hue的配置頁面中設置LDAP 用戶名模式/ldap_username_pattern 為uid=,ou=People,dc=xiaohei,dc=com
注意:ldap_username_pattern的格式要正確,不應該為 cn=,dc=example,dc=com 的形式,否則會造成使用LDAP賬號登錄Hue的時候用戶名或者密碼錯誤的信息

CDH UI界面:

配置完成之后重啟Hue服務即可完成,之后可以通過管理員賬號在Hue的用戶管理中導入/同步LDAP賬號和組。

關於HUE UI可視化權限管理的相關操作,下一篇文章中會詳細講解。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM