親測實用的CDH安裝部署--Master


CDH master 安裝文檔

集群安裝的依賴軟件

1、JDK的安裝包
2、MYSQL的安裝包
3、CDH相關安裝包
4、虛擬機准備

約定:
1,本教程中的軟件版本可能與讀者的版本不一致,請注意自行修改
2,針對LINUX系統版本為 Centos 7
3,不要使用拷貝ppt代碼,后果自負

JDK的安裝

1,查看本地是否存在JDK,執行SHELL命令 java –version

Centos可能包含如下信息
java version "1.7.0_75" OpenJDK Runtime Environment (rhel-2.5.4.2.el7_0-x86_64 u75-b13) OpenJDK 64-Bit Server VM (build 24.75-b04, mixed mode)

2,如果不存在,略過。如果存在需要進行卸載

執行如下:rpm -qa | grep jdk
返回如下:
java-1.7.0-openjdk-1.7.0.75-2.5.4.2.el7_0.x86_64
java-1.7.0-openjdk-headless-1.7.0.75-2.5.4.2.el7_0.x86_64

rpm -e --nodeps 加上返回的結果

3,安裝JDK

rpm -ivh jdk-8u101-linux-x64.rpm

修改節點服務器配置

有關配置hostname、selinux關閉,防火牆關閉 hostname修改

1,執行命令如下:vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=master

2,執行命令如下:vi /etc/hostname
刪除文件內容
輸入如下 master

3,修改HOST映射,執行命令如下:vi /etc/hosts
ipDress1 master
ipDress2 slave1
ipDress3 slave2

ipDress1, ipDress2, ipDress3分別為master, slave1, slave2服務器IP地址

修改節點服務器配置

有關配置hostname、selinux關閉,防火牆關閉 hostname修改

4,selinux關閉,執行命令如下:vim /etc/sysconfig/selinux
修改SELINUX=disabled


5, 重啟虛擬機,執行命令:reboot

更改防火牆配置
依次執行命令如下:
systemctl stop firewalld
systemctl disable firewalld
systemctl status firewalld
執行完顯示如下:
firewalld.service - firewalld - dynamic firewall daemon
Loaded: loaded (/usr/lib/systemd/system/firewalld.service; disabled)
Active: inactive (dead)

安裝時間同步服務

為什么需要時間同步?思考題

安裝步驟如下:
1,執行命令如下:yum -y install ntp
2,安裝完成過后執行:vi /etc/ntp.conf

注釋掉所有server *.*.*的指向,新添加一條可連接的ntp服務器(百度一下ntp服務器,我選的是上海交大的)
server ntp1.aliyun.com iburst

啟動時間同步服務service ntpd start
執行命令 ntpdate -u ntp1.aliyun.com
重啟時間同步服務 service ntpd restart
通過ntpstat查看 當前時間同步狀態

顯示:
synchronised to NTP server (120.25.115.19) at stratum 3
time correct to within 1043 ms
polling server every 64 s


SSH無密碼登錄配置

為什么需要無密碼登陸?思考題

依次執行命令如下

ssh-keygen -t rsa 一直使用默認

ssh-copy-id ipDress1
ssh-copy-id ipDress2


ipDress1和ipDress2分別為從節點slave1和slave2的IP地址

安裝MYSQL數據庫

為什么需要MYSQL數據庫?思考題

1,查看是否已經安裝MYSQL執行命令如下:rpm -qa | grep mariadb
2,如果存在 執行卸載 yum remove mariadb-libs 或者yum remove mariadb
3,安裝MYSQL依賴:
yum install -y perl-Module-Install.noarch
yum install -y MySQL-python
4,安裝MYSQL
依次執行命令如下:
unzip **.zip
進入解壓目錄 yum install –y net-tools
rpm -qa | grep mariadb
存在 yum remove mariadb-libs
rpm -ivh **.rpm

配置MYSQL

1,修改配置文件路徑:cp /usr/share/mysql/my-default.cnf /etc/my.cnf
2,在配置文件中增加以下配置並保存:vim /etc/my.cnf
default-storage-engine = innodb
innodb_file_per_table
collation-server = utf8_general_ci
init-connect = 'SET NAMES utf8'
character-set-server = utf8
3,初始化數據庫執行:/usr/bin/mysql_install_db
4,開啟MYSQL服務:service mysql restart
5,查看mysql root初始化密碼:cat /root/.mysql_secret
6,登陸mysql : mysql -u root -p
復制root的初始密碼
(MYSQL下執行)SET PASSWORD=PASSWORD('123456');

7,(LINUX下執行)開啟開機啟動:chkconfig mysql on
8,(LINUX下執行)拷貝mysql-connector-java-5.1.25-bin.jar到/usr/share/java/mysql-connector-java.jar (如果不存在,需要創建)

配置MYSQL

9,創建數據庫:依次執行命令(MYSQL下執行)
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database monitor DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

use mysql;
grant all on *.* to root@'master' Identified by '123456';
flush privileges;

 

重點來啦

安裝Cloudera-Manager

一、解壓cm tar包到指定目錄
mkdir /opt/cloudera-manager
tar -zxvf cloudera-manager-centos7-cm5.11.1_x86_64.tar.gz -C /opt/cloudera-manager
二、創建cloudera-scm用戶
useradd --system --home=/opt/cloudera-manager/cm-5.11.1/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

三、在主節點創建cloudera-manager-server的本地元數據保存目錄
mkdir /var/cloudera-scm-server
chown cloudera-scm:cloudera-scm /var/cloudera-scm-server
chown cloudera-scm:cloudera-scm /opt/cloudera-manager
四、配置從節點cloudera-manger-agent指向主節點服務器
vim /opt/cloudera-manager/cm-5.11.1/etc/cloudera-scm-agent/config.ini
將server_host改為CMS所在的主機名即master

主節點中創建parcel-repo倉庫目錄

1、mkdir -p /opt/cloudera/parcel-repo
2、chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
3、cp CDH-5.11.1-1.cdh5.11.1.p0.4-el7.parcel CDH-5.11.1-1.cdh5.11.1.p0.4-el7.parcel.sha manifest.json /opt/cloudera/parcel-repo
注意:其中CDH-5.11.1-1.cdh5.11.1.p0.18-el5.parcel.sha1 后綴要把1去掉

所有節點創建parcels目錄
mkdir -p /opt/cloudera/parcels
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

解釋:Clouder-Manager將CDHs從主節點的/opt/cloudera/parcel-repo目錄中抽取出來,分發解壓激活到各個節點的/opt/cloudera/parcels目錄中

初始腳本配置數據庫

執行命令如下:
/opt/cloudera-manager/cm-5.11.1/share/cmf/schema/scm_prepare_database.sh mysql -hmaster -uroot -p123456 --scm-host master scmdbn scmdbu scmdbp

---------------
說明:這個腳本就是用來創建和配置CMS需要的數據庫的腳本。各參數是指:
mysql:數據庫用的是mysql,如果安裝過程中用的oracle,那么該參數就應該改為oracle。
-hmaster:數據庫建立在hadoop1主機上面。也就是主節點上面。
-uroot:root身份運行mysql。-123456:mysql的root密碼是***。
--scm-host master:CMS的主機,一般是和mysql安裝的主機是在同一個主機上。

最后三個參數是:數據庫名,數據庫用戶名,數據庫密碼

啟動主節點CLOUDERA SCM SERVER

執行命令如下:
cp /opt/cloudera-manager/cm-5.11.1/etc/init.d/cloudera-scm-server /etc/init.d/cloudera-scm-server

修改變量路徑
vim /etc/init.d/cloudera-scm-server
將CMF_DEFAULTS=${CMF_DEFAULTS:-/etc/default}改為=/opt/cloudera-manager/cm-5.11.1/etc/default

chkconfig cloudera-scm-server on

啟動主節點CLOUDERA SCM SERVER

執行命令如下:
mkdir /opt/cloudera-manager/cm-5.6.0/run/cloudera-scm-agent
cp /opt/cloudera-manager/cm-5.6.0/etc/init.d/cloudera-scm-agent /etc/init.d/cloudera-scm-agent
修改變量路徑
vim /etc/init.d/cloudera-scm-agent
將CMF_DEFAULTS=${CMF_DEFAULTS:-/etc/default}改為=/opt/cloudera-manager/cm-5.6.0/etc/default
然后執行
service cloudera-scm-agent start

chkconfig cloudera-scm-agent on
service cloudera-scm-server start

可能會出現:JAVA_HOME is not set異常信息,解決方法 /etc/init.d/cloudera-scm-server 文件中加入配置: export =/opt/jdk


等待SERVER 與 AGENT節點的啟動完成

視機器配置的高低影響,啟動時間不定。


打開fire fox或者chrome ,輸入網址
進入(自己的IP地址)192.168.160.130:7180 默認使用admin admin登錄

恭喜你,成功進入管理頁面啦!

 

 下一篇 :《CDH slave安裝》:https://www.cnblogs.com/henyu/p/9025985.html


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM