HUE配置文件hue.ini 的zookeeper模塊詳解(圖文詳解)(分HA集群)


 

不多說,直接上干貨!

  我的集群機器情況是 bigdatamaster(192.168.80.10)、bigdataslave1(192.168.80.11)和bigdataslave2(192.168.80.12)

  然后,安裝目錄是在/home/hadoop/app下。

 

  官方建議在master機器上安裝Hue,我這里也不例外。安裝在bigdatamaster機器上。

 

 Hue版本:hue-3.9.0-cdh5.5.4
 需要編譯才能使用(聯網)


 說給大家的話:大家電腦的配置好的話,一定要安裝cloudera manager。畢竟是一家人的。
同時,我也親身經歷過,會有部分組件版本出現問題安裝起來要個大半天時間去排除,做好心里准備。廢話不多說,因為我目前讀研,自己筆記本電腦最大8G,只能玩手動來練手。
純粹是為了給身邊沒高配且條件有限的學生黨看的! 但我已經在實驗室機器群里搭建好cloudera manager 以及 ambari都有。

大數據領域兩大最主流集群管理工具Ambari和Cloudera Manger

Cloudera安裝搭建部署大數據集群(圖文分五大步詳解)(博主強烈推薦)

Ambari安裝搭建部署大數據集群(圖文分五大步詳解)(博主強烈推薦)

 

 

 

 

 

https://www.cloudera.com/documentation/enterprise/latest/topics/cdh_ig_hue_config.html#concept_ezg_b2s_hl

 

 

 

 

 

一、以下是默認的配置文件

   這里,暫時不說

 

 

二、以下是跟我機器集群匹配的配置文件(非HA集群下怎么配置Hue的zookeeper模塊)

###########################################################################
# Settings to configure the Zookeeper application.
###########################################################################

[zookeeper]

  [[clusters]]

    [[[default]]]
      # Zookeeper ensemble. Comma separated list of Host/Port.
      # e.g. localhost:2181,localhost:2182,localhost:2183
      host_ports=bigdatamaster:2181,bigdataslave1:2181,bigdataslave2:2181

      # The URL of the REST contrib service (required for znode browsing).
      ## rest_url=http://localhost:9998

      # Name of Kerberos principal when using security.
      ## principal_name=zookeeper

 

 

 

 

 

 

 

三、以下是跟我機器集群匹配的配置文件(非HA集群下怎么配置Hue的zookeeper模塊)

 hadoop-2.6.0.tar.gz的集群搭建(5節點)

 

###########################################################################
# Settings to configure the Zookeeper application.
###########################################################################

[zookeeper]

  [[clusters]]

    [[[default]]]
      # Zookeeper ensemble. Comma separated list of Host/Port.
      # e.g. localhost:2181,localhost:2182,localhost:2183
      host_ports=djt11:2181,djt12:2181,djt13:2181,djt14:2181,djt15:2181

      # The URL of the REST contrib service (required for znode browsing).
      ## rest_url=http://localhost:9998

      # Name of Kerberos principal when using security.
      ## principal_name=zookeeper

 

 

 

 

 

 

  如果,單獨只配置上述的話,就算我們的zookeeper集群進程全都正常啟動,但是,還是會無法連接,出現錯誤 無法正確連接到 Zookeeper!!!!timed out (這里,適用非HA和HA集群)

 

 

 

 

  因為,官網給的步驟,很詳細(記住,只要三步就好,一切都要看官網,別跟着別人的博客走)

https://www.cloudera.com/documentation/enterprise/latest/topics/cdh_ig_hue_config.html#concept_hhc_hwn_rl

 

 

 

 

   第一步:首先,進入【ZOOKEEPER_HOME】目錄下執行編譯

[hadoop@bigdatamaster ~]$ cd $ZOOKEEPER_HOME
[hadoop@bigdatamaster zookeeper]$ ant

  看大家的網速吧。我這里是,需將bigdatamaster、bigdataslave1和bigdataslave2里都安裝了zookeeper,所以都要進行ant編譯。

 

   然后,如下的目錄,都會自動建立好

[mkdir] Created dir: /home/hue/Development/zookeeper/build/classes
[mkdir] Created dir: /home/hue/Development/zookeeper/build/lib
[mkdir] Created dir: /home/hue/Development/zookeeper/build/package/lib
[mkdir] Created dir: /home/hue/Development/zookeeper/build/test/lib



 

  第二步:開啟REST服務

cd src/contrib/rest
nohup ant run&

 

[hadoop@bigdatamaster rest]$ pwd
/home/hadoop/app/zookeeper/src/contrib/rest
[hadoop@bigdatamaster rest]$ ll
total 48
-rw-rw-r--. 1 hadoop hadoop  6630 Apr 26  2016 build.xml
drwxr-xr-x. 3 hadoop hadoop  4096 May  4 20:42 conf
-rw-rw-r--. 1 hadoop hadoop  2077 Apr 26  2016 ivy.xml
-rw-rw-r--. 1 hadoop hadoop   246 Apr 26  2016 NOTICE.txt
-rw-rw-r--. 1 hadoop hadoop  2422 Apr 26  2016 README.txt
-rwxr-xr-x. 1 hadoop hadoop  2281 Apr 26  2016 rest.sh
-rw-rw-r--. 1 hadoop hadoop 12961 Apr 26  2016 SPEC.txt
drwxr-xr-x. 5 hadoop hadoop  4096 Apr 26  2016 src
[hadoop@bigdatamaster rest]$ ./rest.sh start
Starting ZooKeeper REST Gateway ... 
STARTED
[hadoop@bigdatamaster rest]$ jps
2814 SecondaryNameNode
2661 NameNode
2982 ResourceManager
9688 ThriftServer
12134 Jps
3720 QuorumPeerMain
10777 HMaster
4141 RunJar
[hadoop@bigdatamaster rest]$ 

 

 

 

 

 

   第三步:去Hue配置文件,對應去修改zookeeper模塊

 

 

###########################################################################
# Settings to configure the Zookeeper application.
###########################################################################

[zookeeper]

  [[clusters]]

    [[[default]]]
      # Zookeeper ensemble. Comma separated list of Host/Port.
      # e.g. localhost:2181,localhost:2182,localhost:2183
      host_ports=bigdatamaster:2181,bigdataslave1:2181,bigdataslave2:2181

      # The URL of the REST contrib service (required for znode browsing).
      rest_url=http://bigdatamaster:9998,http://bigdataslave1:9998,http://bigdataslave2:9998

      # Name of Kerberos principal when using security.
      principal_name=zookeeper

 

 

 

 

   然后,可以看到

 

 

 

 

 

 

 

 

 

   更多的細節,我這里不多贅述,大家自行去自己機器看吧!

 

  成功!

 

 

 

 

 

 

 

 

 

 

 

 

 

歡迎大家,加入我的微信公眾號:大數據躺過的坑        人工智能躺過的坑
 
 
 

同時,大家可以關注我的個人博客

   http://www.cnblogs.com/zlslch/   和     http://www.cnblogs.com/lchzls/      http://www.cnblogs.com/sunnyDream/   

   詳情請見:http://www.cnblogs.com/zlslch/p/7473861.html

 

  人生苦短,我願分享。本公眾號將秉持活到老學到老學習無休止的交流分享開源精神,匯聚於互聯網和個人學習工作的精華干貨知識,一切來於互聯網,反饋回互聯網。
  目前研究領域:大數據、機器學習、深度學習、人工智能、數據挖掘、數據分析。 語言涉及:Java、Scala、Python、Shell、Linux等 。同時還涉及平常所使用的手機、電腦和互聯網上的使用技巧、問題和實用軟件。 只要你一直關注和呆在群里,每天必須有收獲

 

      對應本平台的討論和答疑QQ群:大數據和人工智能躺過的坑(總群)(161156071) 

 

 

 

 

 

 

 

 

 

 

 

 

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM