剖析管理所有大數據組件的可視化利器:Hue


日常的大數據使用都是在服務器命令行中進行的,可視化功能僅僅依靠各個組件自帶的web界面來實現,不同組件對應不同的端口號,如:HDFS(50070),Yarn(8088),Hbase(16010)等等,而大數據的組件又有很多,為了解決某個問題,常常需要結合多個組件來使用,但是每個組件又有獨立的web界面進行可視化,這時,如果有一個統一的web界面來管理並可以開發所有大數據的組件是非常方便的,而Hue正是這樣的工具,它管理的大數據組件包括:HDFS、HBase、Hive、Pig、Sqoop、Spark、Scala等等幾乎所有常用的組件。

(一)、HUE的介紹:

HUE是一個開源的Apache hadoop UI系統,管理hadoop生態體系結構的所有組件,基於python web框架Django實現,由Cloudera開發

HUE的tar包是源碼包,采用源碼安裝 (源碼安裝的好處:卸載和移植軟件方便)

源碼安裝三步驟:

1、配置:./configure --preifix=安裝的目錄 #檢測系統配置,生成makefile文件 如果有makefile文件,直接進行編譯和安裝

2、編譯:make

3、安裝:make install

HUE的http服務端口:8888

二、安裝和配置HUE:

安裝HUE前,需要安裝它所需要的rpm包及其依賴(27個),否則HUE運行會報錯 rpm包:redhat軟件包管理器 存放在redhat光盤Packages目錄下

rpm包與tar.gz/.tgz、.bz2的區別:

rpm形式的軟件包安裝、升級、卸載方便,推薦初學者使用rpm形式的軟件包

安裝:rpm -ivh

卸載:rpm -e

tar.gz形式的軟件包安裝方便,卸載麻煩,用tar工具打包、gzip/bzip2壓縮,安裝時直接調用gzip/bzip2解壓即可。如果解壓后只有單一目錄

用rm -rf命令刪除,如果解壓后分散在多個目錄,必須手動一一刪除

安裝:tar -zxvf *.tar.gz/ tar -yxvf *.bz2

卸載:rm -rf/手動刪除

一、安裝rpm包:

方法:使用yum安裝rpm包

yum:能夠從指定的資源庫(repository)自動下載、安裝、升級rpm包及其依賴,必須要有可靠的資源庫(repository)

1、掛載光盤 mount /dev/cdrom /mnt

mount命令:掛載硬盤/光盤/iso文件到指定目錄下,訪問其中的數據

2、建立yum資源庫

cd /etc/yum.repos.d #yum資源庫默認所在的目錄

vim redhat7.repo

[redhat-yum] 資源庫的標識

name=redhat7 資源庫的名字

baseurl=file:///mnt 資源庫的位置

enabled=1 啟用資源庫

gpgcheck=0 不檢查資源庫中的rpm包是否是官方的

3、執行下面的語句:

yum install gcc g++ libxml2-devel libxslt-devel cyrus-sasl-devel cyrus-sasl-gssapi mysql-devel python-devel python-setuptools sqlite-devel ant ibsasl2-dev libsasl2-modules-gssapi-mit libkrb5-dev libtidy-0.99-0 mvn openldap-dev libffi-devel gmp-devel openldap-devel

(二)、安裝HUE:

解壓:tar -zxvf hue-4.0.1.tgz

指定安裝目錄安裝:PREFIX=/root/training make install

注:如果不指定prefix,可執行文件默認安裝到/usr/local/bin中,配置文件默認安裝到/usr/local/etc中,庫文件默認安裝到/usr/local/lib中,其他文件默認安裝到/usr/local/share中

注:HUE的tar包是源碼包,采用源碼安裝

三、配置HUE:

剖析管理所有大數據組件的可視化利器:Hue

1、與hadoop集成:1、開啟hdfs的web功能 2、允許HUE操作hdfs

<!--開啟hdfs的web功能-->

<property>

<name>dfs.webhdfs.enabled</name>

<value>true</value>

</property>

<!--設置hadoop集群root的代理用戶-->

<property>

<name>hadoop.proxyuser.root.hosts</name>

<value>*</value>

</property>

<!--設置hadoop集群root的代理用戶組-->

<name>hadoop.proxyuser.root.groups</name>

<value>*</value>

</property>

3、添加一個新用戶並授權:hue要對/root/training/hue有訪問權限

adduser hue

chown -R hue.hue /root/training/hue

4、修改配置文件hue.ini($HUE_HOME/desktop/conf):

http_hosts 192.168.182.11

http_port 192.168.182.11

server_user root

server_group root

default_user root

default_hdfs_superuser root

fs_defaulfs hdfs://192.168.182.11:9000

webhdfs_url http://192.168.182.11:50070/webhdfs/v1

hadoop_conf_dir /root/training/hadoop-2.7.3/etc/hadoop

resourcemanager_host 192.168.182.11

resourcemanager_api_url http://192.168.182.11:8088

proxy_api_url http://192.168.182.11:8088

history_server_api_url http://192.168.182.11:19888

二、與HBase集成:

1、修改配置文件hue.ini:

hbase_clusters=(Cluster|192.168.182.11:9090)

hbase_conf_dir=/root/training/hbase-1.3.1/conf

剖析管理所有大數據組件的可視化利器:Hue

三、與Hive集成:

hive_server_host=192.168.182.11

hive_server_port=10000

hive_conf_dir=/root/training/apache-hive-2.3.0-bin/conf

(三)、啟動HUE:

1、啟動hadoop:start-all.sh hue就可以訪問hadoop

2、啟動hbase:start-hbase.sh

3、啟動hbase的thrift server:hbase-daemon.sh start thrift hue就可以訪問hbase

4、啟動hive的元信息存儲:hive --service metastore(表示前台運行) hue就可以訪問hive的元信息

5、啟動hive的thrift server:hiveserver2 &(表示后台運行) hue就可以訪問hive

6、啟動hue:bin/supervisor($HUE_HOME/build/env)

作者:李金澤,清華大學碩士研究生,研究方向:大數據和人工智能


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM