使用Cloudera Manager搭建HDFS完全分布式集群
作者:尹正傑
版權聲明:原創作品,謝絕轉載!否則將追究法律責任。
關於Cloudera Manager的搭建我這里就不再贅述了,可以參考我之前的筆記:離線方式部署Cloudera Manager5.15.1。
一.基於CM界面搭建HDFS完全分布式集群
1>.CM的webUI界面默認的用戶名/密碼都是小寫的admin,我們輸入用戶名和密碼進行登錄。操作如下:
2>.同意CM的協議,點擊繼續
3>.選擇CM的免費版本
4>.點擊繼續
5>.為 CDH 群集安裝指定的Agent主機
6>.選擇CDH本地版本(即我們自己下載好的版本)
7>.等待CDH集群安裝
8>.當CDH安裝完畢后,點擊繼續
9>.等待檢查主機完成
10>.主機檢查完畢無異常后,點擊繼續
11>.自定義安裝服務,我們這里選擇HDFS即可
12>.分配角色
13>.配置數據庫鏈接
14>.配置集群存放目錄(如果你是個老手,應該知道這個步驟順帶是可以配置郵箱信息的,用於CM告警,此處不做配置,后面會單獨抽出章節進行配置,需要注意的是/home/yinzhengjie目錄服務器的用戶家目錄,默認權限是700,需要配置為755權限,否則就各種報錯你懂的,哈哈哈~)
15>.等待安裝完成
如果報錯有JDK_HOME相關報錯,你也可以更換openjdk進行測試,“[root@node102.yinzhengjie.org.cn ~]# yum -y install java-1.8.0-openjdk-devel”
16>.集群安裝完成
17>.進入CM管理界面
二.基於CM訪問HDFS的web UI界面
1>.點擊HDFS服務
2>.查看NameNode的WebUI
3>.查看NameNode節點的信息
4>.查看DataNode節點信息