一、啟動
1.服務節點:bigdata111-主節點操作:
[root@cdh init.d]# /opt/cm-5.12.1/etc/init.d/cloudera-scm-server start
Starting cloudera-scm-server: [確定]
2.工作節點操作:bigdata111\bigdata112\bigdata113
[root@cdh init.d]# /opt/cm-5.12.1/etc/init.d/cloudera-scm-agent start
正在啟動 cloudera-scm-agent: [ok]
[root@cdh2 module]# /opt/cm-5.12.1/etc/init.d/cloudera-scm-agent start
正在啟動 cloudera-scm-agent: [ok]
[root@cdh3 module]# /opt/cm-5.12.1/etc/init.d/cloudera-scm-agent start
正在啟動 cloudera-scm-agent: [確定]
*****************************************************
我的是單節點的,所以只啟動主節點的server和agent即可:
[root@cdh opt]# /opt/cm-5.12.1/etc/init.d/cloudera-scm-server start
[root@cdh opt]# /opt/cm-5.12.1/etc/init.d/cloudera-scm-agent start
注意:啟動過程非常慢,Manager 啟動成功需要等待一段時間,過程中會在數據庫中創建對應的表需要耗費一些時間。
3.查看端口7180是否打開了(多試幾次,需要時間):
[root@cdh init.d]# netstat -anp | grep 7180
tcp 0 0 0.0.0.0:7180 0.0.0.0:* LISTEN 5498/java
查看被占用則表示安裝成功了!!!
如果發現netstat命令沒找到,解決:
-bash: netstat: command not found
[root@cdh3 cloudera]# yum install net-tools -y
二、初次訪問
如訪問http://cdh:7180,(用戶名、密碼:admin)
到此CDH集群就安裝完成了。
下面添加角色:
這里先選擇HDFS-幾乎總是能用上,其他的需要的時候再添加。
初始的話是默認分配的:
或者直接在谷歌瀏覽器上搜索:192.168.212.11:50070也可。
下面可以為該集群增加一個Yarn服務:
三、操作集群
接下來創建一個test目錄、再創鍵一個words文件:
[root@cdh test]# pwd
/opt/test
[root@cdh test]# cat words
aa
ccc
dd
gggg
f
上傳該文件到HDFS根目錄下面:
該Hadoop是自帶環境變量的
[root@cdh test]# hdfs dfs -put words /
put: Permission denied: user=root, access=WRITE, inode="/":hdfs:supergroup:drwxr-xr-x
出現權限不夠的問題-默認使用HDFS用戶才能上傳
HDFS-》配置-》切換至經典布局-》搜索:dfs.permissions
參數dfs.permissions 在Hadoop搭建里配置文件hdfs-site.xml中:
<!--關閉權限-->
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
然后右上角藍色標簽“保存更改”
之后會彈出一個警告--》重啟:
重啟成功之后,繼續上傳文件
[root@cdh test]# hdfs dfs -put words /
查找
CDH安裝的都在該目錄下面:
/opt/cloudera/parcels/CDH-5.12.1-1.cdh5.12.1.p0.3/
找到要運行的官方給的jar包:
hadoop-mapreduce-examples-2.6.0-cdh5.12.1.jar
位置是:
/opt/cloudera/parcels/CDH-5.12.1-1.cdh5.12.1.p0.3/lib/hadoop-mapreduce
現在開始運行-計算個數
[root@cdh hadoop-mapreduce]# hadoop jar hadoop-mapreduce-examples-2.6.0-cdh5.12.1.jar wordcount /words /out
運行HDFS上/words文件,將結果存放於/out目錄下。
四、關閉
首先在CDH集群上依次關閉Yarn、HDFS、輸入命令停止:agent、server
所有工作節點:cdh、cdh2、cdh3
[root@cdh init.d]# /opt/cm-5.12.1/etc/init.d/cloudera-scm-agent stop
Stopping cloudera-scm-agent: [ok]
服務節點-主節點: cdh
[root@cdh init.d]# /opt/cm-5.12.1/etc/init.d/cloudera-scm-server stop
停止 cloudera-scm-server: [ok]
之后再停掉其他進程-在cdh主節點上
[root@cdh hadoop-mapreduce]# jps
3537 Main
3538 Main
3177 AlertPublisher
3468 EventCatcherService
13182 Jps
[root@cdh hadoop-mapreduce]# cd /tmp/
[root@cdh tmp]# cd hsperfdata_cloudera-scm
[root@cdh hsperfdata_cloudera-scm]# ll
total 128
-rw------- 1 cloudera-scm cloudera-scm 32768 May 12 00:36 3177
-rw------- 1 cloudera-scm cloudera-scm 32768 May 12 00:36 3468
-rw------- 1 cloudera-scm cloudera-scm 32768 May 12 00:36 3537
-rw------- 1 cloudera-scm cloudera-scm 32768 May 12 00:36 3538
[root@cdh hsperfdata_cloudera-scm]# cd ..
[root@cdh tmp]# rm hsperfdata_cloudera-scm/*
rm: remove regular file ‘hsperfdata_cloudera-scm/3177’? y
rm: remove regular file ‘hsperfdata_cloudera-scm/3468’? y
rm: remove regular file ‘hsperfdata_cloudera-scm/3537’? y
rm: remove regular file ‘hsperfdata_cloudera-scm/3538’? y
[root@cdh tmp]# jps
13204 Jps
五、總結
1.今后再啟動CDH集群的話,啟動順序:
Host Monitor-->Service-->CDH-->HDFS-->Yarn
2.集群搭建內存考慮
像我這里之啟動了一個節點-偽CDH集群,而且只給它分配了7G,會出現這個問題:
主機 cdh 上的內存被調撥過度。總內存分配額是 5.7 GiB 個字節,但是 RAM 只有 6.6 GiB 個字節(其中的 1.3 GiB 個字節是保留給系統使用的)。如需獲得分配詳細信息,請訪問“主機”頁面上的“資源”選項卡。重新配置主機上的角色以降低總內存分配額。請注意:Java 最大堆大小乘以 1.3 等於近似的 JVM 開銷。
由此看來,CDH真的很吃內存,單個節點給了7G運行MR案例的時候還是運行不動。
但至少HDFS、Yarn、圖表看起來問題不大,之前給6G的時候圖標都展示不出,各個服務也是忽好忽壞。
看來還是得至少遵從8、4、4原則,能大就大吧,要不然真的是卡的要死,真的運行不起來。