HUE配置hadoop

HDFS配置

參考文檔：http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.5.0/manual.html

 

Hadoop配置文件修改

hdfs-site.xml

<property>

  <name>dfs.webhdfs.enabled</name>

  <value>true</value>

</property>

core-site.html

<property>

  <name>hadoop.proxyuser.hue.hosts</name>

  <value>*</value>

</property>

<property>

  <name>hadoop.proxyuser.hue.groups</name>

  <value>*</value>

</property>

 

HUE配置文件修改

[[hdfs_clusters]] [[[default]]]

fs_defaultfs=hdfs://mycluster

webhdfs_url=http://node1:50070/webhdfs/v1

hadoop_bin=/usr/hadoop-2.5.1/bin

hadoop_conf_dir=/usr/hadoop-2.5.1/etc/hadoop

啟動hdfs、重啟hue

 

訪問Web

 

解決方法：

修改默認的hdfs訪問用戶

修改hue.ini中的配置

default_hdfs_superuser=hdfs

改為

default_hdfs_superuser=root

重啟hue

 

可以通過HUE的 文件瀏覽器 來操作hdfs的文件，進行增、刪、改、查等操作。

但是修改文件內容是出現異常，查看日志文件：

 

解決方法：

1、 關閉hdfs的權限驗證

hdfs-site.xml

<property>

          <name>dfs.permissions.enabled</name>

    <value>false</value>

</property>

需要重啟hdfs和hue

2、 在hue中創建root用戶，並以root用戶登錄hue。

 

Yarn配置

HUE配置文件修改

[[yarn_clusters]] [[[default]]]

resourcemanager_host=node1

resourcemanager_port=8032

submit_to=True

resourcemanager_api_url=http://node1:8088

重啟HUE服務

運行workcout程序進行測試

hadoop jar /usr/hadoop-2.5.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.1.jar wordcount /test/wc/input /out1