日常的大數據使用都是在服務器命令行中進行的,可視化功能僅僅依靠各個組件自帶的web界面來實現,不同組件對應不同的端口號,如:HDFS(50070),Yarn(8088),Hbase(16010)等等,而大數據的組件又有很多,為了解決某個問題,常常需要結合多個組件來使用,但是每個組件又有獨立的web界面進行可視化,這時,如果有一個統一的web界面來管理並可以開發所有大數據的組件是非常方便的,而Hue正是這樣的工具,它管理的大數據組件包括:HDFS、HBase、Hive、Pig、Sqoop、Spark、Scala等等幾乎所有常用的組件。
(一)、HUE的介紹:
HUE是一個開源的Apache hadoop UI系統,管理hadoop生態體系結構的所有組件,基於python web框架Django實現,由Cloudera開發
HUE的tar包是源碼包,采用源碼安裝 (源碼安裝的好處:卸載和移植軟件方便)
源碼安裝三步驟:
1、配置:./configure --preifix=安裝的目錄 #檢測系統配置,生成makefile文件 如果有makefile文件,直接進行編譯和安裝
2、編譯:make
3、安裝:make install
HUE的http服務端口:8888
二、安裝和配置HUE:
安裝HUE前,需要安裝它所需要的rpm包及其依賴(27個),否則HUE運行會報錯 rpm包:redhat軟件包管理器 存放在redhat光盤Packages目錄下
rpm包與tar.gz/.tgz、.bz2的區別:
rpm形式的軟件包安裝、升級、卸載方便,推薦初學者使用rpm形式的軟件包
安裝:rpm -ivh
卸載:rpm -e
tar.gz形式的軟件包安裝方便,卸載麻煩,用tar工具打包、gzip/bzip2壓縮,安裝時直接調用gzip/bzip2解壓即可。如果解壓后只有單一目錄
用rm -rf命令刪除,如果解壓后分散在多個目錄,必須手動一一刪除
安裝:tar -zxvf *.tar.gz/ tar -yxvf *.bz2
卸載:rm -rf/手動刪除
一、安裝rpm包:
方法:使用yum安裝rpm包
yum:能夠從指定的資源庫(repository)自動下載、安裝、升級rpm包及其依賴,必須要有可靠的資源庫(repository)
1、掛載光盤 mount /dev/cdrom /mnt
mount命令:掛載硬盤/光盤/iso文件到指定目錄下,訪問其中的數據
2、建立yum資源庫
cd /etc/yum.repos.d #yum資源庫默認所在的目錄
vim redhat7.repo
[redhat-yum] 資源庫的標識
name=redhat7 資源庫的名字
baseurl=file:///mnt 資源庫的位置
enabled=1 啟用資源庫
gpgcheck=0 不檢查資源庫中的rpm包是否是官方的
3、執行下面的語句:
yum install gcc g++ libxml2-devel libxslt-devel cyrus-sasl-devel cyrus-sasl-gssapi mysql-devel python-devel python-setuptools sqlite-devel ant ibsasl2-dev libsasl2-modules-gssapi-mit libkrb5-dev libtidy-0.99-0 mvn openldap-dev libffi-devel gmp-devel openldap-devel
(二)、安裝HUE:
解壓:tar -zxvf hue-4.0.1.tgz
指定安裝目錄安裝:PREFIX=/root/training make install
注:如果不指定prefix,可執行文件默認安裝到/usr/local/bin中,配置文件默認安裝到/usr/local/etc中,庫文件默認安裝到/usr/local/lib中,其他文件默認安裝到/usr/local/share中
注:HUE的tar包是源碼包,采用源碼安裝
三、配置HUE:
1、與hadoop集成:1、開啟hdfs的web功能 2、允許HUE操作hdfs
<!--開啟hdfs的web功能-->
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
<!--設置hadoop集群root的代理用戶-->
<property>
<name>hadoop.proxyuser.root.hosts</name>
<value>*</value>
</property>
<!--設置hadoop集群root的代理用戶組-->
<name>hadoop.proxyuser.root.groups</name>
<value>*</value>
</property>
3、添加一個新用戶並授權:hue要對/root/training/hue有訪問權限
adduser hue
chown -R hue.hue /root/training/hue
4、修改配置文件hue.ini($HUE_HOME/desktop/conf):
http_hosts 192.168.182.11
http_port 192.168.182.11
server_user root
server_group root
default_user root
default_hdfs_superuser root
fs_defaulfs hdfs://192.168.182.11:9000
webhdfs_url http://192.168.182.11:50070/webhdfs/v1
hadoop_conf_dir /root/training/hadoop-2.7.3/etc/hadoop
resourcemanager_host 192.168.182.11
resourcemanager_api_url http://192.168.182.11:8088
proxy_api_url http://192.168.182.11:8088
history_server_api_url http://192.168.182.11:19888
二、與HBase集成:
1、修改配置文件hue.ini:
hbase_clusters=(Cluster|192.168.182.11:9090)
hbase_conf_dir=/root/training/hbase-1.3.1/conf
三、與Hive集成:
hive_server_host=192.168.182.11
hive_server_port=10000
hive_conf_dir=/root/training/apache-hive-2.3.0-bin/conf
(三)、啟動HUE:
1、啟動hadoop:start-all.sh hue就可以訪問hadoop
2、啟動hbase:start-hbase.sh
3、啟動hbase的thrift server:hbase-daemon.sh start thrift hue就可以訪問hbase
4、啟動hive的元信息存儲:hive --service metastore(表示前台運行) hue就可以訪問hive的元信息
5、啟動hive的thrift server:hiveserver2 &(表示后台運行) hue就可以訪問hive
6、啟動hue:bin/supervisor($HUE_HOME/build/env)
作者:李金澤,清華大學碩士研究生,研究方向:大數據和人工智能