不多說,直接上干貨!
我的集群機器情況是 bigdatamaster(192.168.80.10)、bigdataslave1(192.168.80.11)和bigdataslave2(192.168.80.12)
然后,安裝目錄是在/home/hadoop/app下。
官方建議在master機器上安裝Hue,我這里也不例外。安裝在bigdatamaster機器上。
Hue版本:hue-3.9.0-cdh5.5.4
需要編譯才能使用(聯網)
說給大家的話:大家電腦的配置好的話,一定要安裝cloudera manager。畢竟是一家人的。
同時,我也親身經歷過,會有部分組件版本出現問題安裝起來要個大半天時間去排除,做好心里准備。廢話不多說,因為我目前讀研,自己筆記本電腦最大8G,只能玩手動來練手。
純粹是為了給身邊沒高配且條件有限的學生黨看的! 但我已經在實驗室機器群里搭建好cloudera manager 以及 ambari都有。
大數據領域兩大最主流集群管理工具Ambari和Cloudera Manger
Cloudera安裝搭建部署大數據集群(圖文分五大步詳解)(博主強烈推薦)
Ambari安裝搭建部署大數據集群(圖文分五大步詳解)(博主強烈推薦)
https://www.cloudera.com/documentation/enterprise/latest/topics/cdh_ig_hue_config.html#concept_ezg_b2s_hl
一、以下是默認的配置文件
這里,暫時不說
二、以下是跟我機器集群匹配的配置文件(非HA集群下怎么配置Hue的zookeeper模塊)
########################################################################### # Settings to configure the Zookeeper application. ########################################################################### [zookeeper] [[clusters]] [[[default]]] # Zookeeper ensemble. Comma separated list of Host/Port. # e.g. localhost:2181,localhost:2182,localhost:2183 host_ports=bigdatamaster:2181,bigdataslave1:2181,bigdataslave2:2181 # The URL of the REST contrib service (required for znode browsing). ## rest_url=http://localhost:9998 # Name of Kerberos principal when using security. ## principal_name=zookeeper
三、以下是跟我機器集群匹配的配置文件(非HA集群下怎么配置Hue的zookeeper模塊)
hadoop-2.6.0.tar.gz的集群搭建(5節點)
########################################################################### # Settings to configure the Zookeeper application. ########################################################################### [zookeeper] [[clusters]] [[[default]]] # Zookeeper ensemble. Comma separated list of Host/Port. # e.g. localhost:2181,localhost:2182,localhost:2183 host_ports=djt11:2181,djt12:2181,djt13:2181,djt14:2181,djt15:2181 # The URL of the REST contrib service (required for znode browsing). ## rest_url=http://localhost:9998 # Name of Kerberos principal when using security. ## principal_name=zookeeper
如果,單獨只配置上述的話,就算我們的zookeeper集群進程全都正常啟動,但是,還是會無法連接,出現錯誤 無法正確連接到 Zookeeper!!!!timed out (這里,適用非HA和HA集群)
因為,官網給的步驟,很詳細(記住,只要三步就好,一切都要看官網,別跟着別人的博客走)
https://www.cloudera.com/documentation/enterprise/latest/topics/cdh_ig_hue_config.html#concept_hhc_hwn_rl
第一步:首先,進入【ZOOKEEPER_HOME】目錄下執行編譯
[hadoop@bigdatamaster ~]$ cd $ZOOKEEPER_HOME
[hadoop@bigdatamaster zookeeper]$ ant
看大家的網速吧。我這里是,需將bigdatamaster、bigdataslave1和bigdataslave2里都安裝了zookeeper,所以都要進行ant編譯。
然后,如下的目錄,都會自動建立好
[mkdir] Created dir: /home/hue/Development/zookeeper/build/classes [mkdir] Created dir: /home/hue/Development/zookeeper/build/lib [mkdir] Created dir: /home/hue/Development/zookeeper/build/package/lib [mkdir] Created dir: /home/hue/Development/zookeeper/build/test/lib
第二步:開啟REST服務
cd src/contrib/rest
nohup ant run&
[hadoop@bigdatamaster rest]$ pwd /home/hadoop/app/zookeeper/src/contrib/rest [hadoop@bigdatamaster rest]$ ll total 48 -rw-rw-r--. 1 hadoop hadoop 6630 Apr 26 2016 build.xml drwxr-xr-x. 3 hadoop hadoop 4096 May 4 20:42 conf -rw-rw-r--. 1 hadoop hadoop 2077 Apr 26 2016 ivy.xml -rw-rw-r--. 1 hadoop hadoop 246 Apr 26 2016 NOTICE.txt -rw-rw-r--. 1 hadoop hadoop 2422 Apr 26 2016 README.txt -rwxr-xr-x. 1 hadoop hadoop 2281 Apr 26 2016 rest.sh -rw-rw-r--. 1 hadoop hadoop 12961 Apr 26 2016 SPEC.txt drwxr-xr-x. 5 hadoop hadoop 4096 Apr 26 2016 src [hadoop@bigdatamaster rest]$ ./rest.sh start Starting ZooKeeper REST Gateway ... STARTED [hadoop@bigdatamaster rest]$ jps 2814 SecondaryNameNode 2661 NameNode 2982 ResourceManager 9688 ThriftServer 12134 Jps 3720 QuorumPeerMain 10777 HMaster 4141 RunJar [hadoop@bigdatamaster rest]$
第三步:去Hue配置文件,對應去修改zookeeper模塊
########################################################################### # Settings to configure the Zookeeper application. ########################################################################### [zookeeper] [[clusters]] [[[default]]] # Zookeeper ensemble. Comma separated list of Host/Port. # e.g. localhost:2181,localhost:2182,localhost:2183 host_ports=bigdatamaster:2181,bigdataslave1:2181,bigdataslave2:2181 # The URL of the REST contrib service (required for znode browsing). rest_url=http://bigdatamaster:9998,http://bigdataslave1:9998,http://bigdataslave2:9998 # Name of Kerberos principal when using security. principal_name=zookeeper
然后,可以看到
更多的細節,我這里不多贅述,大家自行去自己機器看吧!
成功!
同時,大家可以關注我的個人博客:
http://www.cnblogs.com/zlslch/ 和 http://www.cnblogs.com/lchzls/ http://www.cnblogs.com/sunnyDream/
詳情請見:http://www.cnblogs.com/zlslch/p/7473861.html
人生苦短,我願分享。本公眾號將秉持活到老學到老學習無休止的交流分享開源精神,匯聚於互聯網和個人學習工作的精華干貨知識,一切來於互聯網,反饋回互聯網。
目前研究領域:大數據、機器學習、深度學習、人工智能、數據挖掘、數據分析。 語言涉及:Java、Scala、Python、Shell、Linux等 。同時還涉及平常所使用的手機、電腦和互聯網上的使用技巧、問題和實用軟件。 只要你一直關注和呆在群里,每天必須有收獲
對應本平台的討論和答疑QQ群:大數據和人工智能躺過的坑(總群)(161156071)