機器環境
Ubuntu 14.10 64位 || OpenJDK-7 || Scala-2.10.4
機群概況
Hadoop-2.6.0 || HBase-1.0.0 || Spark-1.2.0 || Zookeeper-3.4.6 || hue-3.8.1
Hue簡介(簡單介紹):
ue是一個開源的Apache Hadoop UI系統,最早是由Cloudera Desktop演化而來,由Cloudera貢獻給開源社區,它是基於Python Web框架Django實現的。通過使用Hue我們可以在瀏覽器端的Web控制台上與Hadoop集群進行交互來分析處理數據,例如操作HDFS上的數據,運行MapReduce Job等等。很早以前就聽說過Hue的便利與強大,一直沒能親自嘗試使用,下面先通過官網給出的特性,通過翻譯原文簡單了解一下Hue所支持的功能特性集合:
- 默認基於輕量級sqlite數據庫管理會話數據,用戶認證和授權,可以自定義為MySQL、Postgresql,以及Oracle
- 基於文件瀏覽器(File Browser)訪問HDFS
- 基於Hive編輯器來開發和運行Hive查詢
- 支持基於Solr進行搜索的應用,並提供可視化的數據視圖,以及儀表板(Dashboard)
- 支持基於Impala的應用進行交互式查詢
- 支持Spark編輯器和儀表板(Dashboard)
- 支持Pig編輯器,並能夠提交腳本任務
- 支持Oozie編輯器,可以通過儀表板提交和監控Workflow、Coordinator和Bundle
- 支持HBase瀏覽器,能夠可視化數據、查詢數據、修改HBase表
- 支持Metastore瀏覽器,可以訪問Hive的元數據,以及HCatalog
- 支持Job瀏覽器,能夠訪問MapReduce Job(MR1/MR2-YARN)
- 支持Job設計器,能夠創建MapReduce/Streaming/Java Job
- 支持Sqoop 2編輯器和儀表板(Dashboard)
- 支持ZooKeeper瀏覽器和編輯器
- 支持MySql、PostGresql、Sqlite和Oracle數據庫查詢編輯器
1 Hue安裝(參考官網:http://gethue.com/how-to-build-hue-on-ubuntu-14-04-trusty/)
1.1 在git上下載HUE源碼或者在它的官網下載(如果已經安裝git可省略第一步)
sudo apt-get install git git clone https://github.com/cloudera/hue.git
1.2 需要安裝一些依賴的軟件包
官網給出了一些,如果環境不一樣,靈活調整,GIT上面給出的依賴文件列表:https://github.com/cloudera/hue | Development Prerequisites
sudo apt-get install python2.7-dev \ make \ libkrb5-dev \ libxml2-dev \ libxslt-dev \ libsqlite3-dev \ libssl-dev \ libldap2-dev \ python-pip
1.3 因為需要用maven編譯,所以需要安裝maven,最好是去官網下載maven安裝包,3.0以上
1.4 編譯Hue
make apps
說明:我在編譯的時候出現了兩種錯誤,一是找不到某些文件,這種情況下,需要檢查一下是否是少了某一依賴沒有安裝;二是下載jar包失敗,這種情況下,重新make apps,多試幾次,在經歷了兩三天的折騰下,終於編譯好了,同時http://gethue.com/how-to-build-hue-on-ubuntu-14-04-trusty/這里面有些回帖,可能問題就和你的一樣,我的一個問題就是在別人發的帖子中找到的答案。
發部分錯誤只要根據關鍵字在網上都能找到答案,很麻煩,但是一般都能解決。
1.5 啟動HUE服務
啟動之后能進入http://127.0.0.1:8000/ 就說明安裝好了,后面還需要進行很多配置。這里需要說明一下,下面的第一個命令是啟動development式,只能在本機使用,也就是只能用127.0.0.1:8000打開,如果想要使用生產環境,那么用第二個命令打開,訪問http://IP或域名:8000
./build/env/bin/hue runserver
./build/env/bin/supervisor
2 一個在線的HUE Demo,可以先體驗下
http://demo.gethue.com/
3 HUE安裝常見問題及解決辦法
http://my.oschina.net/cwalet/blog/288336
-------------------------------------------------------------------------------------------------------------------------------------------
參考:
http://gethue.com/
https://github.com/cloudera/hue
http://cloudera.github.io/hue/docs-3.8.0/manual.html
http://docs.hortonworks.com/HDPDocuments/HDP1/HDP-1.3.2/bk_installing_manually_book/content/rpm-chap-hue-2.html
http://ju.outofmemory.cn/entry/105162
http://itindex.net/detail/52831-hue
http://www.tuicool.com/articles/zIrqemB
http://blog.csdn.net/nsrainbow/article/details/43677077
http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/cdh_ig_hue_config.html