閱讀目錄
本文版權歸mephisto和博客園共有,歡迎轉載,但須保留此段聲明,並給出原文鏈接,謝謝合作。
文章是哥(mephisto)寫的,SourceLink
序
上一篇,我們把Ambari的環境基本搭建好了,那么我們趁熱打鐵,打造我們的第一個HDP集群,這樣,離我們下一步就越來越近了,在安裝中還是會碰到很多想不到的情況的。所以,注意分析,找到解決方法很重要。
對了,這里我們還是多搭建了一個機器H34,怕集群機器不夠。大家按照原來的步驟在做一個吧。
集群搭建
一:登陸
使用我們設置的Ambari服務器登陸,還記得么,在H30上面。
二:主界面
我們看到圈起來的地方就是我們要搭建集群的地方。
三:新建集群
這里,我們使用MyCluster作為我們第一個集群的名稱。
四:選擇HDP版本和源
我們當然選擇最新的HDP2.3,玩就玩最新的,要不老是在別人后面,多不好啊。
這里我們得設置HDP和 HDP-UTILS的源,我們已經搭建好了倉庫,可以直接使用本地源了。
五:將SSH私有Key放到本機
由於是頁面登陸,當然如果H30開啟了GUI界面,是可以不用這個操作的。
目前我們使用的沒有GUI界面的Linux,所以,得在瀏覽器使用的機器上能使用的到ssh private key。
過程很簡單,就不上圖了。
六:選擇帶集群的機器
這里我們選擇了事前准備好的H31,H32,H33這3台機器,由於本機的性能一般,很快內存,IO就占滿了,所以沒有使用很多的機器做集群。
七:修改ambari.repo文件
vim /etc/yum.repos.d/ambari.repo將線上庫改成本地的http資源。
八:Confirm Hosts
核實主機群。確保這里待集群主機有符合的運行環境。
九:選擇待安裝庫
我們根據自己的需要來選擇帶安裝的。
十:集群結構搭建
我們選擇H31作為主NameNode,H32作為Second NameNode。
十一:集群結構搭建2
選擇H31,H32作為NodeManager,H33,H34作為DataNode
十二:自定義服務群
這里,一半NameNode需要比較大內存的,但是沒辦法,所以 這里也不自定義修改了,就那么多,全用了。
十三:Review
Review下我們的配置情況。
十四:Deploy
開始安裝等環節了。
十五:Deploy2
我們可以看到success了。
十六:Summary
安裝過程的總結。
監控
一:儀表盤
在這里,我們可以全面,直觀的看到整個集群的運行情況,可以大大的提高了運維的效率。
二:服務
在這里,可以看到例如HDFS,Zookeeper,SparK這些服務的情況。
三:Hosts
我們可以看到,集群中所有的主機信息,狀態。
四:報警
如果集群中出現了什么問題,這里是可以實時的監控的到的,很是方便。
到此,我們這章節的內容已經完畢,基本上環境搭建的部分告一段落,后面我們就是對HDP的應用了。
系列索引
本文版權歸mephisto和博客園共有,歡迎轉載,但須保留此段聲明,並給出原文鏈接,謝謝合作。
文章是哥(mephisto)寫的,SourceLink



















到此,我們這章節的內容已經完畢,基本上環境搭建的部分告一段落,后面我們就是對HDP的應用了。