從零自學Hadoop(06):集群搭建


閱讀目錄

本文版權歸mephisto和博客園共有,歡迎轉載,但須保留此段聲明,並給出原文鏈接,謝謝合作。

文章是哥(mephisto)寫的,SourceLink

 

  上一篇,我們把Ambari的環境基本搭建好了,那么我們趁熱打鐵,打造我們的第一個HDP集群,這樣,離我們下一步就越來越近了,在安裝中還是會碰到很多想不到的情況的。所以,注意分析,找到解決方法很重要。

  對了,這里我們還是多搭建了一個機器H34,怕集群機器不夠。大家按照原來的步驟在做一個吧。

集群搭建

一:登陸

  使用我們設置的Ambari服務器登陸,還記得么,在H30上面。

二:主界面

  我們看到圈起來的地方就是我們要搭建集群的地方。

 

三:新建集群

  這里,我們使用MyCluster作為我們第一個集群的名稱。

四:選擇HDP版本和源

  我們當然選擇最新的HDP2.3,玩就玩最新的,要不老是在別人后面,多不好啊。

  這里我們得設置HDP和 HDP-UTILS的源,我們已經搭建好了倉庫,可以直接使用本地源了。

五:將SSH私有Key放到本機

  由於是頁面登陸,當然如果H30開啟了GUI界面,是可以不用這個操作的。

  目前我們使用的沒有GUI界面的Linux,所以,得在瀏覽器使用的機器上能使用的到ssh private key。

  過程很簡單,就不上圖了。

六:選擇帶集群的機器

  這里我們選擇了事前准備好的H31,H32,H33這3台機器,由於本機的性能一般,很快內存,IO就占滿了,所以沒有使用很多的機器做集群。

七:修改ambari.repo文件

vim /etc/yum.repos.d/ambari.repo

  將線上庫改成本地的http資源。

八:Confirm Hosts

  核實主機群。確保這里待集群主機有符合的運行環境。

九:選擇待安裝庫

  我們根據自己的需要來選擇帶安裝的。

十:集群結構搭建

  我們選擇H31作為主NameNode,H32作為Second NameNode。

十一:集群結構搭建2

  選擇H31,H32作為NodeManager,H33,H34作為DataNode

十二:自定義服務群

  這里,一半NameNode需要比較大內存的,但是沒辦法,所以 這里也不自定義修改了,就那么多,全用了。

 

十三:Review

  Review下我們的配置情況。

十四:Deploy

  開始安裝等環節了。

十五:Deploy2

  我們可以看到success了。

 

 

十六:Summary

  安裝過程的總結。

監控

一:儀表盤

  在這里,我們可以全面,直觀的看到整個集群的運行情況,可以大大的提高了運維的效率。

二:服務

  在這里,可以看到例如HDFS,Zookeeper,SparK這些服務的情況。

 

三:Hosts

  我們可以看到,集群中所有的主機信息,狀態。

四:報警

  如果集群中出現了什么問題,這里是可以實時的監控的到的,很是方便。

             到此,我們這章節的內容已經完畢,基本上環境搭建的部分告一段落,后面我們就是對HDP的應用了。

系列索引

  【源】從零自學Hadoop系列索引

 

 

 

 

本文版權歸mephisto和博客園共有,歡迎轉載,但須保留此段聲明,並給出原文鏈接,謝謝合作。

文章是哥(mephisto)寫的,SourceLink

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM