文章目錄
前言
上篇文章后半部分提到了業界流行的大數據權限管理框架Apache Sentry和Ranger。二者在功能上具有很高的相似性，但是在具體細節上上篇文章闡述的還不夠細致。本文筆者來深入淺出地聊聊這兩個框架，以及它們的少許異同點。熟悉掌握使用外部權限管理框架，並且將它們合理地應用於自身內部大數據組件系統內，無疑將會大大提高內部組件使用的安全性。
Sentry和Ranger的概述
從最源頭開始說起這2個項目，Sentry首先是由Cloudera公司內部開發而來的，初衷是為了讓用戶能夠細粒度的控制Hadoop系統中的數據（這里主要指HDFS，Hive的數據）。所以Sentry對HDFS，Hive以及同樣由Cloudera開發的Impala有着很好的支持性。
而Ranger則是由於另一家公司Hortonworks所主導。它同樣是做細粒度的權限控制。但相比較於Sentry而言，它能支持更豐富的組件，包括於 HDFS, Hive, HBase, Yarn, Storm, Knox, Kafka, Solr and NiFi。
這兩個框架在權限管理時都有運用到基於角色的訪問控制原理（role-based access control，RBAC）。換句話說，當新來一個用戶時，我們賦予它的是一個身份角色，然后這個用戶的執行權限操作完全由統一的角色本身所允許的一些權限。基於角色的訪問控制，能夠大大減輕系統對於大數據量用戶的直接ACL控制。
下面我們來細聊着兩大組件的內容。
Sentry
Sentry的架構模型
上文提到過，Sentry在最初發展階段只是對部分組件支持的比較好，沒有像Ranger支持的那么多。
首先，我們來看Sentry的整體架構
DataEngine指的是具體的數據應用程序，這里指的是HDFS，Hive和Impala。
Plugin，Plugin程序負責和Sentry Server通信，做權限策略信息的同步。同時在Plugin程序中，包含了認證引擎模塊，來做權限的驗證操作。
Policy metadata，這里的matadata存儲權限策略數據，對應的會需要一個外部存儲db。
從另一個角度層面來看Sentry的內部結構
Sentry與Hadoop生態圈組件的集成
Sentry與Hive，HDFS，Impala等組件集成的較好， 結構圖如下圖所示：
從上圖中，我們注意到一個細節，在HDFS里面多了一個cache層，這個是用來干嘛的呢？其實為了保持HDFS的權限與HIve的一致，NameNode的Sentry Plugin程序會定期拉取Hive的Metadata信息以及Sentry Server上的權限信息，並cache起來。這可以說也是為了性能考慮了。
另外地在Sentry Sever中，它還有audit模塊，記錄了所有模塊的請求訪問記錄。
Ranger
Ranger相比較於Sentry來說，它的功能可以說更加具有通用性。這里說的通用性在於以下兩點：
- 上層支持的應用組件更多
- 對於控制的資源的類型更多
第一點，前文已經提到過，第二點這里的資源就不僅僅只有文件和目錄了這種了，它還可以有表，行以及列的訪問控制。這些都是體現在Ranger的策略信息里面的。
Ranger的架構模型
以下是Ranger的架構模型，和Sentry有類似之處。
對於具體的策略控制，由用戶通過admin web ui頁面進行配置。
Ranger的策略配置
對於用戶的ACL控制
我們先來看最簡單的，對於用戶的訪問控制，我們可以設置用戶對於選定的路徑有哪些權限，策略細節如下：
配置此策略信息后，系統會對這些用戶做額外判斷處理。
表的行過濾及列處理
小標題這里我們指的是對Hive的表數據。假設我們有一以下Hive表。
Table: customer
+----+------------+-----------+--------------+---------------+----------------+
| id | name_first | name_last | addr_country | date_of_birth | phone_num |
+----+------------+-----------+--------------+---------------+----------------+
| 1 | Mackenzy | Smith | US | 1993-12-18 | 123-456-7890 |
| 2 | Sherlyn | Miller | US | 1975-03-22 | 234-567-8901 |
| 3 | Khiana | Wilson | US | 1989-08-14 | 345-678-9012 |
| 4 | Jack | Thompson | US | 1962-10-28 | 456-789-0123 |
| 5 | Audrey | Taylor | UK | 1985-01-11 | 12-3456-7890 |
| 6 | Ruford | Walker | UK | 1976-05-19 | 23-4567-8901 |
| 7 | Marta | Lloyd | UK | 1981-07-23 | 34-5678-9012 |
| 8 | Derick | Schneider | DE | 1982-04-17 | 12-345-67890 |
| 9 | Anna | Richter | DE | 1995-09-07 | 23-456-78901 |
| 10 | Raina | Graf | DE | 1999-02-06 | 34-567-89012 |
| 11 | Felix | Lee | CA | 1982-04-17 | 321-654-0987 |
| 12 | Adam | Brown | CA | 1995-09-07 | 432-765-1098 |
| 13 | Lucas | Jones | CA | 1999-02-06 | 543-876-2109 |
| 14 | Yvonne | Dupont | FR | 1982-04-17 | 01-23-45-67-89 |
| 15 | Pascal | Fournier | FR | 1995-09-07 | 23-45-67-89-01 |
| 16 | Ariel | Simon | FR | 1999-02-06 | 34-56-78-90-12 |
+----+------------+-----------+--------------+---------------+----------------+
假設此時我們執行以下查詢語句，我們肯定能查到所有表數據的：
select * from cust.customer
如果此時我們加一個用戶歸屬地的判斷，每個用戶只能查到它所屬那個地域的數據。比如多了以下的用戶關系：
+--------------+---------------+
| Group name | Users |
+--------------+---------------+
| us-employees | john,scott |
| uk-employees | mary,adam |
| de-employees | drew,alice |
+--------------+---------------+
在Ranger的頁面配置效果如下圖所示：
然后我們以john用戶身份去查，查出的記錄所屬地域就只會是US上的了，不會受全部的數據了。
[john@localhost ~]$ beeline -u jdbc:hive2://localhost.localdomain:10000/cust
0: jdbc:hive2://localhost.localdomain:10000> select * from cust.customer;
+-----+-------------+------------+---------------+----------------+--------------+
| id | name_first | name_last | addr_country | date_of_birth | phone_num |
+-----+-------------+------------+---------------+----------------+--------------+
| 1 | Mackenzy | Smith | US | 1993-12-18 | 123-456-7890 |
| 2 | Sherlyn | Miller | US | 1975-03-22 | 234-567-8901 |
| 3 | Khiana | Wilson | US | 1989-08-14 | 345-678-9012 |
| 4 | Jack | Thompson | US | 1962-10-28 | 456-789-0123 |
+-----+-------------+------------+---------------+----------------+--------------+
對於列處理，Ranger支持對部分敏感字段實施遮掩處理，比如下面是對電話號碼的處理
+
-----+-------------+------------+---------------+----------------+--------------+
| id | name_first | name_last | addr_country | date_of_birth | phone_num |
+-----+-------------+------------+---------------+----------------+--------------+
| 1 | Mackenzy | NULL | US | 1993-01-01 | xxx-xxx-7890 |
| 2 | Sherlyn | NULL | US | 1975-01-01 | xxx-xxx-8901 |
| 3 | Khiana | NULL | US | 1989-01-01 | xxx-xxx-9012 |
+-----+-------------+------------+---------------+----------------+--------------+
Ranger的Policy的靈活性
通過的Policy策略還有許多靈活的特性，包括它還能支持基於Tag的策略控制，有了Tag后，就無需考慮組件的差別了。另外還有condition的條件的添加控制，這些也都是由管理員用戶人工控制的。
同樣的，Ranger Plugin程序會拉取策略數據在本地，如果說Ranger admin server臨時不可用了，也不會影響策略實際的執行認證。
以上就是本文的全部內容了，兩個框架非常類似，真要說區別的話，Sentry在於它對於Hive等相關組件支持集成的比較好（也和這個項目本身發展初期設計決定），而Ranger在於它更通用化的支持和更加豐富的策略控制。
引用
[1].https://cwiki.apache.org/confluence/display/RANGER/Row-level+filtering+and+column-masking+using+Apache+Ranger+policies+in+Apache+Hive?preview=/65868896/65868900/rowFilter-usecase-1.jpg
[2].https://www.linkedin.com/pulse/apache-ranger-vs-sentry-mythily-rajavelu/
[3].https://cwiki.apache.org/confluence/display/SENTRY/Sentry+Tutorial
[4].https://www.cnblogs.com/qiuyuesu/p/6774520.html