Hadoop 管理工具HUE配置-filebrowser配置


  Hue提供了圖形化截面管理HDFS數據,可謂之非常方便,但是在配置上,還是有點麻煩的。

1 /home/hadoop/software/cloud/hue/desktop/conf/pseudo-distributed.ini配置

Hue可以通過兩種方式訪問Hdfs中的數據

WebHDFS:提供高速的數據傳輸,客戶端直接和DataNode交互

HttpFSB:一個代理服務,方便與集群外部的系統集成

兩者都支持Http REST API,但是HUe只能打開其中的一種方式,對於HDFS HA的部署方式,只能使用HttpFS。

對於WebHDFS的配置這里就不做介紹,下面介紹HttpFS的配置方式,首先需要配置hadoop中幾個配置文件

1.1 core-site.xml配置

      <property>  
              <name>hadoop.proxyuser.hadoop.hosts</name>  
              <value>*</value>  
              <description>第二個hadoop是啟動httpfs的用戶名</description>
      </property>  
      
      <property>  
              <name>hadoop.proxyuser.hadoop.groups</name>  
              <value>*</value>  
              <description>第二個hadoop是啟動httpfs的用戶組名</description>
      </property>

這里一個需要注意的地方,hadoop.proxyuser.{hadoop}.hosts括號里面的是啟動httpfs的用戶名

1.2 httpfs-site.xml 配置

    <!-- Hue HttpFS proxy user setting -->
    <property>
        <name>httpfs.proxyuser.hue.hosts</name>
        <value>*</value>
        <description>這里的hue是需要代理hadoop superuser的用戶名</description>
    </property>
    <property>
        <name>httpfs.proxyuser.hue.groups</name>
        <value>*</value>
        <description>這里的hue是需要代理hadoop superuser的用戶組名</description>
    </property>

這里一個需要注意的地方,httpfs.proxyuser.{hue}.hosts括號中的hue是HUE系統代理的用戶,如果1.2 和 1.3配置不正確,那么在hue中是不能正確訪問到數據的,因為HUE的用戶和hadoop的用戶不是一個概念,當時在這里卡了好久。

1.3 需改pseudo-distributed.ini 其中的hdfs配置

# Use WebHdfs/HttpFs as the communication mechanism.
      # Domain should be the NameNode or HttpFs host.
      # Default port is 14000 for HttpFs.
      ##--Customer Configuration --##
      webhdfs_url=http://1421-0002:14000/webhdfs/v1

這里的webhdfs_url配置啟動httpfs的主機端口。如何啟動httpfs在http://www.cnblogs.com/liuchangchun/p/4658750.html  可以看到

果配置成功之后,便在HUE中能看見hdfs上的所有數據,至於操作還需要權限。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM