CM-CM安裝部署


CM-CM安裝部署

CM下載地址:http://archive.cloudera.com/cm5/cm/5/

離線庫下載地址:http://archive.cloudera.com/cdh5/parcels

CDH和CM的版本要相同

CDH版本號中的-elx代表CentOS的版本號:

 

注:以下所有操作均使用root用戶

1.解壓cloudera-manager-centos7-cm5.12.1_x86_64.tar.gz-所有節點

CDH默認的目錄就是/opt

tar -zxvf cloudera-manager-centos7-cm5.12.1_x86_64.tar.gz -C /opt

                            

2.創建用戶cloudera-scm(所有節點)

[root@cdh opt]# useradd --system --home=/opt/cm-5.12.1/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

--system 創建一個系統賬戶

--home 指定用戶登入時的主目錄,替換系統默認值/home/<用戶名>

--no-create-home 不要創建用戶的主目錄

--shell 用戶的登錄 shell 名

--comment 用戶的描述信息

注意:Cloudera Manager默認用戶為cloudera-scm,創建具有此名稱的用戶是最簡單的方法。 安裝完成后,將自動使用此用戶。

3.配置CM Agent-所有節點

vi /opt/cm-5.12.1/etc/cloudera-scm-agent/config.ini

#修改CM所在地址(所有節點)

server_host=bigdata111

#像這里bigdata111就是主節點的名稱

                                            

4.配置CM的數據庫

驅動必須要改名!

1) 拷貝mysql jar文件到目錄 /usr/share/java/ -主節點

創建java目錄:

[root@bigdata111 share]# mkdir /usr/share/java/

上傳驅動到此目錄下:

[root@cdh java]# ll

total 976

-rw-r--r-- 1 root root 999018 Mar 31 13:38 mysql-connector-java-5.1.43-bin.jar

改名:

[root@cdh java]# mv mysql-connector-java-5.1.43-bin.jar mysql-connector-java.jar

• 注意jar包名稱要修改為mysql-connector-java.jar

在mysql中創建cm庫

[root@bigdata111 cm-5.12.1]# /opt/cm-5.12.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hcdh -uroot -p000000 --scm-host cdh scm scm scm

-h:Database host

-u:Database username

-p:Database Password

--scm-host:SCM server's hostname

 

2) 分發cloudera-manager

將那兩個目錄直接放到/opt目錄下就好

 

[root@bigdata111 module]# scp -r /opt/ bigdata112:/opt/

[root@bigdata111 module]# scp -r /opt/ bigdata113:/opt/

3) 創建Parcel-repo 目錄-主節點操作

(1) Servre 節點創建目錄/opt/cloudera/parcel-repo

如果沒有就創建,有就不用了

[root@bigdata111 module]# mkdir -p /opt/cloudera/parcel-repo

(2) 修改目錄權限:

chown [最終用戶(用戶名):組名][文件或目錄]

例如:chown -R itstar:itstar [文件名]

[root@bigdata111 module]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

 

(3) 拷貝下載文件到/opt/cloudera/parcel-repo

(1)CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel

(2)CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha1:需改名為CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha

[root@cdh parcel-repo]# cp /opt/software/CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel* ./

CDH文件建議用WinSCP上傳,因為大文件上傳用這個快(4分鍾左右)。

(3)以及文件manifest.json 也要上傳到此目錄下

4) 在Agent 節點(bigdata111,bigdata112,bigdata113)創建目錄/opt/cloudera/parcels

這部操作就是要讓從節點有這個目錄然后再修改下權限就可以了,上面那三個文件不用復制。

[root@bigdata111 module]# mkdir -p /opt/cloudera/parcels

[root@bigdata111 module]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

這樣的話,如果是集群的形式,主機點到Web頁面就會完成自動的分發。

5.關閉交換空間 & 大頁面空間-各個節點

#Cloudera建議將交換空間設置為0,過多的交換空間會引起GC-Garbage Collection耗時的激增,所以還是關閉的為好.

各個節點同時運行:
echo "vm.swappiness = 0" >> /etc/sysctl.conf
echo "10" > /proc/sys/vm/swappiness
#關閉大頁面壓縮
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM