CM-CM安装部署


CM-CM安装部署

CM下载地址:http://archive.cloudera.com/cm5/cm/5/

离线库下载地址:http://archive.cloudera.com/cdh5/parcels

CDH和CM的版本要相同

CDH版本号中的-elx代表CentOS的版本号:

 

注:以下所有操作均使用root用户

1.解压cloudera-manager-centos7-cm5.12.1_x86_64.tar.gz-所有节点

CDH默认的目录就是/opt

tar -zxvf cloudera-manager-centos7-cm5.12.1_x86_64.tar.gz -C /opt

                            

2.创建用户cloudera-scm(所有节点)

[root@cdh opt]# useradd --system --home=/opt/cm-5.12.1/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

--system 创建一个系统账户

--home 指定用户登入时的主目录,替换系统默认值/home/<用户名>

--no-create-home 不要创建用户的主目录

--shell 用户的登录 shell 名

--comment 用户的描述信息

注意:Cloudera Manager默认用户为cloudera-scm,创建具有此名称的用户是最简单的方法。 安装完成后,将自动使用此用户。

3.配置CM Agent-所有节点

vi /opt/cm-5.12.1/etc/cloudera-scm-agent/config.ini

#修改CM所在地址(所有节点)

server_host=bigdata111

#像这里bigdata111就是主节点的名称

                                            

4.配置CM的数据库

驱动必须要改名!

1) 拷贝mysql jar文件到目录 /usr/share/java/ -主节点

创建java目录:

[root@bigdata111 share]# mkdir /usr/share/java/

上传驱动到此目录下:

[root@cdh java]# ll

total 976

-rw-r--r-- 1 root root 999018 Mar 31 13:38 mysql-connector-java-5.1.43-bin.jar

改名:

[root@cdh java]# mv mysql-connector-java-5.1.43-bin.jar mysql-connector-java.jar

• 注意jar包名称要修改为mysql-connector-java.jar

在mysql中创建cm库

[root@bigdata111 cm-5.12.1]# /opt/cm-5.12.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hcdh -uroot -p000000 --scm-host cdh scm scm scm

-h:Database host

-u:Database username

-p:Database Password

--scm-host:SCM server's hostname

 

2) 分发cloudera-manager

将那两个目录直接放到/opt目录下就好

 

[root@bigdata111 module]# scp -r /opt/ bigdata112:/opt/

[root@bigdata111 module]# scp -r /opt/ bigdata113:/opt/

3) 创建Parcel-repo 目录-主节点操作

(1) Servre 节点创建目录/opt/cloudera/parcel-repo

如果没有就创建,有就不用了

[root@bigdata111 module]# mkdir -p /opt/cloudera/parcel-repo

(2) 修改目录权限:

chown [最终用户(用户名):组名][文件或目录]

例如:chown -R itstar:itstar [文件名]

[root@bigdata111 module]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

 

(3) 拷贝下载文件到/opt/cloudera/parcel-repo

(1)CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel

(2)CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha1:需改名为CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha

[root@cdh parcel-repo]# cp /opt/software/CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel* ./

CDH文件建议用WinSCP上传,因为大文件上传用这个快(4分钟左右)。

(3)以及文件manifest.json 也要上传到此目录下

4) 在Agent 节点(bigdata111,bigdata112,bigdata113)创建目录/opt/cloudera/parcels

这部操作就是要让从节点有这个目录然后再修改下权限就可以了,上面那三个文件不用复制。

[root@bigdata111 module]# mkdir -p /opt/cloudera/parcels

[root@bigdata111 module]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

这样的话,如果是集群的形式,主机点到Web页面就会完成自动的分发。

5.关闭交换空间 & 大页面空间-各个节点

#Cloudera建议将交换空间设置为0,过多的交换空间会引起GC-Garbage Collection耗时的激增,所以还是关闭的为好.

各个节点同时运行:
echo "vm.swappiness = 0" >> /etc/sysctl.conf
echo "10" > /proc/sys/vm/swappiness
#关闭大页面压缩
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM