Hadoop 管理工具HUE配置


機器環境

Ubuntu 14.10 64位 || OpenJDK-7 || Scala-2.10.4

機群概況

Hadoop-2.6.0 || HBase-1.0.0 || Spark-1.2.0 || Zookeeper-3.4.6 || hue-3.8.1

 

Hue簡介(簡單介紹):

ue是一個開源的Apache Hadoop UI系統,最早是由Cloudera Desktop演化而來,由Cloudera貢獻給開源社區,它是基於Python Web框架Django實現的。通過使用Hue我們可以在瀏覽器端的Web控制台上與Hadoop集群進行交互來分析處理數據,例如操作HDFS上的數據,運行MapReduce Job等等。很早以前就聽說過Hue的便利與強大,一直沒能親自嘗試使用,下面先通過官網給出的特性,通過翻譯原文簡單了解一下Hue所支持的功能特性集合:

  • 默認基於輕量級sqlite數據庫管理會話數據,用戶認證和授權,可以自定義為MySQL、Postgresql,以及Oracle
  • 基於文件瀏覽器(File Browser)訪問HDFS
  • 基於Hive編輯器來開發和運行Hive查詢
  • 支持基於Solr進行搜索的應用,並提供可視化的數據視圖,以及儀表板(Dashboard)
  • 支持基於Impala的應用進行交互式查詢
  • 支持Spark編輯器和儀表板(Dashboard)
  • 支持Pig編輯器,並能夠提交腳本任務
  • 支持Oozie編輯器,可以通過儀表板提交和監控Workflow、Coordinator和Bundle
  • 支持HBase瀏覽器,能夠可視化數據、查詢數據、修改HBase表
  • 支持Metastore瀏覽器,可以訪問Hive的元數據,以及HCatalog
  • 支持Job瀏覽器,能夠訪問MapReduce Job(MR1/MR2-YARN)
  • 支持Job設計器,能夠創建MapReduce/Streaming/Java Job
  • 支持Sqoop 2編輯器和儀表板(Dashboard)
  • 支持ZooKeeper瀏覽器和編輯器
  • 支持MySql、PostGresql、Sqlite和Oracle數據庫查詢編輯器

1 Hue安裝(參考官網:http://gethue.com/how-to-build-hue-on-ubuntu-14-04-trusty/)

1.1 在git上下載HUE源碼或者在它的官網下載(如果已經安裝git可省略第一步)

sudo apt-get install git

git clone https://github.com/cloudera/hue.git

1.2 需要安裝一些依賴的軟件包

官網給出了一些,如果環境不一樣,靈活調整,GIT上面給出的依賴文件列表:https://github.com/cloudera/hue | Development Prerequisites

sudo apt-get install python2.7-dev \
make \
libkrb5-dev \
libxml2-dev \
libxslt-dev \
libsqlite3-dev \
libssl-dev \
libldap2-dev \
python-pip

1.3 因為需要用maven編譯,所以需要安裝maven,最好是去官網下載maven安裝包,3.0以上

1.4 編譯Hue

make apps

說明:我在編譯的時候出現了兩種錯誤,一是找不到某些文件,這種情況下,需要檢查一下是否是少了某一依賴沒有安裝;二是下載jar包失敗,這種情況下,重新make apps,多試幾次,在經歷了兩三天的折騰下,終於編譯好了,同時http://gethue.com/how-to-build-hue-on-ubuntu-14-04-trusty/這里面有些回帖,可能問題就和你的一樣,我的一個問題就是在別人發的帖子中找到的答案。

發部分錯誤只要根據關鍵字在網上都能找到答案,很麻煩,但是一般都能解決。

1.5 啟動HUE服務

啟動之后能進入http://127.0.0.1:8000/ 就說明安裝好了,后面還需要進行很多配置。這里需要說明一下,下面的第一個命令是啟動development式,只能在本機使用,也就是只能用127.0.0.1:8000打開,如果想要使用生產環境,那么用第二個命令打開,訪問http://IP或域名:8000

./build/env/bin/hue runserver
./build/env/bin/supervisor

 

 

2 一個在線的HUE Demo,可以先體驗下

http://demo.gethue.com/

3 HUE安裝常見問題及解決辦法

http://my.oschina.net/cwalet/blog/288336

 

-------------------------------------------------------------------------------------------------------------------------------------------

參考:

http://gethue.com/

https://github.com/cloudera/hue

http://cloudera.github.io/hue/docs-3.8.0/manual.html

http://docs.hortonworks.com/HDPDocuments/HDP1/HDP-1.3.2/bk_installing_manually_book/content/rpm-chap-hue-2.html

http://ju.outofmemory.cn/entry/105162

http://itindex.net/detail/52831-hue

http://www.tuicool.com/articles/zIrqemB

http://blog.csdn.net/nsrainbow/article/details/43677077

http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/cdh_ig_hue_config.html

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM