dremio,spark-sql,presto和ranger的整合
當前,ranger沒有現成的插件來管理dremio,spark-sql,presto。
暫時使用的方法是新建一個用戶,如presto可以創建一個presto用戶,然后在ranger中對presto用戶賦予hive,hdfs的訪問權限。
尤其是在hive doas權限開啟的時候,一定要把對應的hdfs的權限也分配一下。
然后使用presto用戶來啟動presto的worker,cordinaor進程,這樣提交的查詢都是使用這個用戶,可以正常訪問hdfs和hive.
但是這樣的問題就是,不管jdbc使用什么用戶,都是無效的。
presto整合到ambari安裝的時候,默認是使用root用戶進行啟動的,可以修改
/var/lib/ambari-server/resources下面的presto-worker.py,presto-cordinator.py中install和start方法,
install方法中添加useradd presto,chown -R presto:presto /usr/hdp/current/presto
start 方法中添加 sudo -u presto ,這樣就可以使用presto用戶來啟動presto的相關進程。
網絡上可以查到一個信息,一個presto的發行公司startbust自己發行的presto可以配置hive.security=ranger可以
與ranger進行整合。
presto安裝后需要注意的配置是hive.config.resources=/etc/hadoop/conf/hdfs-site.xml,/etc/hadoop/conf/core-site.xml
這樣才可以使用NAMENODE HA中配置的namespace,不會報找不到主機異常。