presto,dremio,spark-sql與ranger的整合記錄


dremio,spark-sql,presto和ranger的整合
當前,ranger沒有現成的插件來管理dremio,spark-sql,presto。
暫時使用的方法是新建一個用戶,如presto可以創建一個presto用戶,然后在ranger中對presto用戶賦予hive,hdfs的訪問權限。
尤其是在hive doas權限開啟的時候,一定要把對應的hdfs的權限也分配一下。
然后使用presto用戶來啟動presto的worker,cordinaor進程,這樣提交的查詢都是使用這個用戶,可以正常訪問hdfs和hive.
但是這樣的問題就是,不管jdbc使用什么用戶,都是無效的。

presto整合到ambari安裝的時候,默認是使用root用戶進行啟動的,可以修改

/var/lib/ambari-server/resources下面的presto-worker.py,presto-cordinator.py中install和start方法,

install方法中添加useradd presto,chown -R presto:presto /usr/hdp/current/presto

start  方法中添加 sudo -u presto ,這樣就可以使用presto用戶來啟動presto的相關進程。

網絡上可以查到一個信息,一個presto的發行公司startbust自己發行的presto可以配置hive.security=ranger可以

與ranger進行整合。

presto安裝后需要注意的配置是hive.config.resources=/etc/hadoop/conf/hdfs-site.xml,/etc/hadoop/conf/core-site.xml

這樣才可以使用NAMENODE HA中配置的namespace,不會報找不到主機異常。

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM