centos 安裝hue 4.0

Hue是Cloudera開源的一個Hadoop UI，由Cloudera Desktop演化而來。面向用戶提供方便的UI用於平時的Hadoop操作中。Apache Ambari面向的是管理員，用於安裝、維護集群，而不是使用集群。兩者針對的是不同需求。

Hue安裝：

 

官網教程： http://gethue.com/hadoop-hue-3-on-hdp-installation-tutorial/

 

 

依賴安裝：

 

sudo yum install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libxml2-devel libxslt-devel make mysql mysql-devel openldap-devel python-devel sqlite-devel  gmp-devel openssl-devel  

（不同環境的依賴包參考 這里）

JDK安裝

這里必須安裝oracle JDK（具體參考 這里）

 

Maven和Ant安裝

Hue的安裝過程需要依賴於Maven和Ant，按常規方法安裝Maven和Ant，配置MAVEN_HOME,ANT_HOME，並將bin目錄加入PATH。具體步驟略。

 

MAV（apache-maven 或者  maven3 tarball ）這里安裝的是apache-maven

 

sudo wget http://repos.fedorapeople.org/repos/dchen/apache-maven/epel-apache-maven.repo -O /etc/yum.repos.d/epel-apache-maven.repo

 

sudo sed -i s/\$releasever/6/g /etc/yum.repos.d/epel-apache-maven.repo

 

sudo yum install -y apache-maven

 

mvn --version

 

如果網絡帶寬足夠可以略過此步驟，這里配置maven更新源，主要使用的是阿里的源

 

# 配置文件所在的位置是/etc/maven/settings.xml

<mirrors>

     <mirror>

         <id>alimaven</id>

         <mirrorOf>central</mirrorOf>

         <name>aliyun maven</name>

         <url>http://maven.aliyun.com/nexus/content/groups/public/</url>

     </mirror>

 

     <mirror>

         <id>ui</id>

         <mirrorOf>central</mirrorOf>

         <name>Human Readable Name for this Mirror.</name>

         <url>http://uk.maven.org/maven2/</url>

     </mirror>

 

     <mirror>

         <id>jboss-public-repository-group</id>

         <mirrorOf>central</mirrorOf>

         <name>JBoss Public Repository Group</name>

         <url>http://repository.jboss.org/nexus/content/groups/public</url>

     </mirror>

 </mirrors>

可以從本地導入hue安裝包，也可以直接使用wget下載，wget需要sudo權限

下載安裝hue

 

 sudo wget https://dl.dropboxusercontent.com/u/730827/hue/releases/4.0.1/hue-4.0.1.tgz

 tar zxvf hue-4.0.1.tgz

 cd hue-4.0.1.tgz

 #安裝

 make apps

如果編譯出現問題，需要重新clean，再編譯

 

make clean

make apps

 

配置Hue

Hue的配置集中在$HUE_HOME/desktop/conf/hue.ini文件，針對不同的Hadoop組件分段配置。詳細配置文件參考這里。下面是我的配置示例：

注意，這里設置的主機的域名為master，配置時需要根據實際情況進行配置

Hue

 

secret_key=jFE93j;2[290-eiw.KEiwN2s3['d;/.q[eIW^y#e=+Iei*@Mn<qW5o

http_host=0.0.0.0

http_port=8888

server_user=hue

server_group=hue

default_user=hue

default_hdfs_superuser=hue

 注意：這默認的賬戶為hue，如果你配置的賬戶和我的不相同，請在hadoop代理配置中保持一致

否則會出現一些列關於權限的問題如：

 

Hadoop/HDFS

fs_defaultfs=hdfs://master:9000

webhdfs_url=http://master:50070/webhdfs/v1

hadoop_conf_dir=/home/hadoop/hadoop-2.6.0/etc/hadoop

 

YARN

 resourcemanager_host=master

 resourcemanager_port=8032

 resourcemanager_api_url=http://master:18088

 proxy_api_url=http://master:18088

 history_server_api_url=http://master:19888

 

 

HBase

 hbase_clusters=(Cluster|master:9090)

 hbase_conf_dir=/home/hadoop/hbase-1.0.1.1/conf

 

 

Hive

 hive_server_host=master

 hive_server_port=10000

 hive_conf_dir=/home/hadoop/apache-hive-1.2.1-bin/conf

 

 

Pig

 # Location of piggybank.jar on local filesystem.

 ## local_sample_dir=/usr/share/hue/apps/pig/examples

 # Location piggybank.jar will be copied to in HDFS.

 ## remote_data_dir=/user/hue/pig/examples

 

 

Sqoop2

 server_url=http://master:12000/sqoop

 sqoop_conf_dir=/home/sqoop-1.99.6/conf

hadoop配置

在hdfs-site.xml添加

<property>
  <name>dfs.webhdfs.enabled</name>
  <value>true</value>
</property>

在core-site.xml添加

<!-- enable WebHDFS in the NameNode and DataNodes -->
<property> 
　　<name>dfs.webhdfs.enabled</name> 
　　<value>true</value> 
</property>
<!-- Hue WebHDFS proxy user setting -->
<property>
  <name>hadoop.proxyuser.hue.hosts</name>
  <value>*</value>
</property>
<property>
  <name>hadoop.proxyuser.hue.groups</name>
  <value>*</value>
</property>

<property>  
<name>hadoop.proxyuser.httpfs.hosts</name>  
<value>*</value>  
</property>  
<property>  
<name>hadoop.proxyuser.httpfs.groups</name>  
<value>*</value>  
</property>  

注意：這里使用的webHDFS，如果需要httpFS，請參考官網進行配置

配置成功以后需要重新啟動hadoop集群，注意需要將配置問題同步到所有主機上

啟動及界面

啟動

首先啟動Hadoop集群中的HDFS，YARN，HBase等相關組件。
然后在$HUE_HOME目錄下：

1. nohup build/env/bin/supervisor &

根據配置的端口訪問，我這里是8888端口：

首次訪問時，會讓你設置用戶名和密碼，這個是超級管理賬號。登陸后：

 

HBase界面

先要啟動HBase的Thrift Server：

1. % start-hbase.sh
2. % hbase-daemon.sh start thrift -p 9090

Hive界面

首先要啟動HiverServer2

1. % hiveserver2

Hive查詢：

異常情況：

1. Hive metastore異常：
2. Could not start SASL: Error in sasl_client_start (-4) SASL(-4): no mechanism available: No worthy mechs found

解決方案：安裝sasl缺失的依賴,確保安裝了以下依賴：

Sqoop作業

Pig腳本

作業執行情況

啟動Spark-shell后：

文件瀏覽

hue4的界面和hue3部分不相同，界面提供了切換選項：

 

hue參考資料

Hue項目：
http://gethue.com/
https://github.com/cloudera/hue

Hue安裝配置實踐：
http://www.tuicool.com/articles/zIrqemB

Hue3.9 Tarball安裝：
http://blog.csdn.net/bluishglc/article/details/48393291

 

Hue安裝及問題：

http://blog.csdn.net/wenlong237/article/details/19735603 http://blog.csdn.net/zhoujj303030/article/details/44832363