CM-CM Server&Agent 服務 啟動+關閉+查看Web頁面+操作集群+總結


啟動

1.服務節點:bigdata111-主節點操作:

[root@cdh init.d]# /opt/cm-5.12.1/etc/init.d/cloudera-scm-server start

Starting cloudera-scm-server: [確定]

2.工作節點操作:bigdata111\bigdata112\bigdata113

[root@cdh init.d]# /opt/cm-5.12.1/etc/init.d/cloudera-scm-agent start

正在啟動 cloudera-scm-agent: [ok]

[root@cdh2 module]# /opt/cm-5.12.1/etc/init.d/cloudera-scm-agent start

正在啟動 cloudera-scm-agent: [ok]

[root@cdh3 module]# /opt/cm-5.12.1/etc/init.d/cloudera-scm-agent start

正在啟動 cloudera-scm-agent: [確定]

*****************************************************

我的是單節點的,所以只啟動主節點的server和agent即可:

[root@cdh opt]# /opt/cm-5.12.1/etc/init.d/cloudera-scm-server start

[root@cdh opt]# /opt/cm-5.12.1/etc/init.d/cloudera-scm-agent start

注意:啟動過程非常慢,Manager 啟動成功需要等待一段時間,過程中會在數據庫中創建對應的表需要耗費一些時間。

3.查看端口7180是否打開了(多試幾次,需要時間):

[root@cdh init.d]# netstat -anp | grep 7180

tcp 0 0 0.0.0.0:7180 0.0.0.0:* LISTEN 5498/java

查看被占用則表示安裝成功了!!!

如果發現netstat命令沒找到,解決:

-bash: netstat: command not found

[root@cdh3 cloudera]# yum install net-tools -y

、初次訪問

如訪問http://cdh:7180,(用戶名、密碼:admin)

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

到此CDH集群就安裝完成了。

下面添加角色:

 

這里先選擇HDFS-幾乎總是能用上,其他的需要的時候再添加。

初始的話是默認分配的:

 

 

 

 

 

 

 

 

 

或者直接在谷歌瀏覽器上搜索:192.168.212.11:50070也可。

 

下面可以為該集群增加一個Yarn服務:

 

 

 

 

 

 

 

 

 三、操作集群

接下來創建一個test目錄、再創鍵一個words文件:

[root@cdh test]# pwd

/opt/test

[root@cdh test]# cat words

aa

ccc

dd

gggg

f

上傳該文件到HDFS根目錄下面:

該Hadoop是自帶環境變量的

[root@cdh test]# hdfs dfs -put words /

put: Permission denied: user=root, access=WRITE, inode="/":hdfs:supergroup:drwxr-xr-x

出現權限不夠的問題-默認使用HDFS用戶才能上傳

HDFS-》配置-》切換至經典布局-》搜索:dfs.permissions

參數dfs.permissions 在Hadoop搭建里配置文件hdfs-site.xml中:

<!--關閉權限-->

<property>

     <name>dfs.permissions</name>

     <value>false</value>

 </property>

 

然后右上角藍色標簽“保存更改”

之后會彈出一個警告--》重啟:

 

 

 

 

 

重啟成功之后,繼續上傳文件

[root@cdh test]# hdfs dfs -put words /

查找

CDH安裝的都在該目錄下面:

/opt/cloudera/parcels/CDH-5.12.1-1.cdh5.12.1.p0.3/

找到要運行的官方給的jar包:

hadoop-mapreduce-examples-2.6.0-cdh5.12.1.jar

位置是:

/opt/cloudera/parcels/CDH-5.12.1-1.cdh5.12.1.p0.3/lib/hadoop-mapreduce

現在開始運行-計算個數

[root@cdh hadoop-mapreduce]# hadoop jar hadoop-mapreduce-examples-2.6.0-cdh5.12.1.jar wordcount /words /out

運行HDFS上/words文件,將結果存放於/out目錄下。

 

關閉

首先在CDH集群上依次關閉Yarn、HDFS、輸入命令停止:agent、server

所有工作節點:cdh、cdh2、cdh3

[root@cdh init.d]# /opt/cm-5.12.1/etc/init.d/cloudera-scm-agent stop

Stopping cloudera-scm-agent: [ok]

服務節點-主節點: cdh

[root@cdh init.d]# /opt/cm-5.12.1/etc/init.d/cloudera-scm-server stop

停止 cloudera-scm-server: [ok]

之后再停掉其他進程-在cdh主節點上

 

[root@cdh hadoop-mapreduce]# jps
3537 Main
3538 Main
3177 AlertPublisher
3468 EventCatcherService
13182 Jps

 

[root@cdh hadoop-mapreduce]# cd /tmp/

 

[root@cdh tmp]# cd hsperfdata_cloudera-scm
[root@cdh hsperfdata_cloudera-scm]# ll
total 128
-rw------- 1 cloudera-scm cloudera-scm 32768 May 12 00:36 3177
-rw------- 1 cloudera-scm cloudera-scm 32768 May 12 00:36 3468
-rw------- 1 cloudera-scm cloudera-scm 32768 May 12 00:36 3537
-rw------- 1 cloudera-scm cloudera-scm 32768 May 12 00:36 3538
[root@cdh hsperfdata_cloudera-scm]# cd ..
[root@cdh tmp]# rm hsperfdata_cloudera-scm/*
rm: remove regular file ‘hsperfdata_cloudera-scm/3177’? y
rm: remove regular file ‘hsperfdata_cloudera-scm/3468’? y
rm: remove regular file ‘hsperfdata_cloudera-scm/3537’? y
rm: remove regular file ‘hsperfdata_cloudera-scm/3538’? y
[root@cdh tmp]# jps
13204 Jps

 

五、總結

1.今后再啟動CDH集群的話,啟動順序:

Host Monitor-->Service-->CDH-->HDFS-->Yarn

2.集群搭建內存考慮

像我這里之啟動了一個節點-偽CDH集群,而且只給它分配了7G,會出現這個問題:

主機 cdh 上的內存被調撥過度。總內存分配額是 5.7 GiB 個字節,但是 RAM 只有 6.6 GiB 個字節(其中的 1.3 GiB 個字節是保留給系統使用的)。如需獲得分配詳細信息,請訪問“主機”頁面上的“資源”選項卡。重新配置主機上的角色以降低總內存分配額。請注意:Java 最大堆大小乘以 1.3 等於近似的 JVM 開銷。

由此看來,CDH真的很吃內存,單個節點給了7G運行MR案例的時候還是運行不動。

但至少HDFS、Yarn、圖表看起來問題不大,之前給6G的時候圖標都展示不出,各個服務也是忽好忽壞。

看來還是得至少遵從8、4、4原則,能大就大吧,要不然真的是卡的要死,真的運行不起來。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM