快速指引
簡要介紹
本文使用Cloudera公司的Hadoop版本，由於官方鏡像較慢，搭建私用yum源。 官方地址： https://archive.cloudera.com/cdh6 以及 https://archive.cloudera.com/cm6/ cdh使用6.3.2 cm使用 6.3.1
系統CentOS7
CentOS Linux release 7.7.1908 (Core) 以上用命令 cat /etc/redhat-release 查看 阿里雲鏡像 http://mirrors.aliyun.com/centos/7/isos/x86_64/CentOS-7-x86_64-Minimal-1908.iso
ssh免登錄設置
不需要
增加主機名
修改 /etc/hosts 增加主機名
關閉防火牆和selinux
firewall-cmd --state 查看防火牆 systemctl stop firewalld.service 關閉防火牆 systemctl disable firewalld.service 永久關閉防火牆 修改 /etc/selinux/config 下的 SELINUX=disabled （重啟后永久生效）
手動時鍾同步
關閉chrony服務 systemctl stop chronyd && systemctl disable chronyd 安裝NTP服務 yum install ntp -y vi /etc/ntp.conf # 將時鍾服務器更改為如下4個 server 0.cn.pool.ntp.org server 1.cn.pool.ntp.org server 2.cn.pool.ntp.org server 3.cn.pool.ntp.org 啟動時間同步服務器 systemctl start ntpd
&& systemctl enable ntpd
&& ntpdate -u 0.cn.pool.ntp.org
&& hwclock --systohc
&& date
配置JDK環境
rpm -ivh oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm vi /etc/profile export JAVA_HOME=/usr/java/jdk1.8.0_181-cloudera export PATH=$PATH:$JAVA_HOME/bin 使用 source /etc/profile 生效 使用 java -version 查看
本地安裝（也可搭建yum源）
yum localinstall cloudera-manager-daemons cloudera-manager-server （管理節點） yum localinstall cloudera-manager-daemons cloudera-manager-agent （集群節點）
安裝Cloudera Manager Server(主節點)
在 /opt/cloudera/parcel-repo 放置 parcel 文件 注意將 CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 改為 CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha
配置mysql jdbc驅動
wget https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.47.tar.gz tar -zxvf mysql-connector-java-5.1.47.tar.gz mkdir -p /usr/share/java/ cp mysql-connector-java-5.1.47-bin.jar /usr/share/java/mysql-connector-java.jar
Mysql安裝(主節點)
卸載系統自帶 mariadb-lib [root@node1 java]# rpm -qa|grep mariadb mariadb-libs-5.5.44-2.el7.centos.x86_64 [root@node1 java]# rpm -e --nodeps mariadb-libs-5.5.44-2.el7.centos.x86_64 [root@node1 java]# rpm -qa|grep mariadb 安裝 mysql 5.7 至於安裝方法自行查找 // 初始化，執行生會在/var/log/mysqld.log生成隨機密碼 [root@node1 mysql]# mysqld --initialize [root@node1 log]# cat /var/log/mysqld.log 更改mysql數據庫目錄的所屬用戶及其所屬組 chown mysql:mysql /var/lib/mysql -R 啟動mysql：systemctl start mysqld.service 查看mysql：systemctl status mysqld.service
創建CDH所需要的數據庫
服務名 數據庫名 用戶名 Cloudera Manager Server scm scm Activity Monitor amon amon Reports Manager rman rman Hue hue hue Hive Metastore Server metastore hive Sentry Server sentry sentry Cloudera Navigator Audit Server nav nav Cloudera Navigator Metadata Server navms navms CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; CREATE DATABASE amon DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; CREATE DATABASE rman DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; CREATE DATABASE metastore DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; GRANT ALL ON scm.* TO 'scm'@'%' IDENTIFIED BY 'BigData@123'; GRANT ALL ON amon.* TO 'amon'@'%' IDENTIFIED BY 'BigData@123'; GRANT ALL ON rman.* TO 'rman'@'%' IDENTIFIED BY 'BigData@123'; GRANT ALL ON metastore.* TO 'hive'@'%' IDENTIFIED BY 'BigData@123'; FLUSH PRIVILEGES;
設置Cloudera Manager 數據庫
mysql數據庫與CM Server是同一台主機時命令為 /opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm root
####啟動Cloudera Manager Server服務 systemctl start cloudera-scm-server tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log去監控服務啟動狀態。 Started Jetty server 說明啟動成功了。
啟動Cloudera Manager Server服務
打開瀏覽器，訪問地址：http://主機IP:7180，默認賬號和密碼都為admin： 剩下的根據提示進行個性化安裝即可。