Spark項目之電商用戶行為分析大數據平台之（二）CentOS7集群搭建

一、CentOS7集群搭建

1.1　准備3台centos7的虛擬機

IP及主機名規划如下：

192.168.123.110 spark1
192.168.123.111 spark2
192.168.123.112 spark3

1.2　修改IP地址

[root@bigdata ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens33 

1.3　修改主機映射

[root@bigdata ~]# vi /etc/hosts

1.4　修改主機名

三台機器分別把主機名修改為spark1、spark2、spark3

[root@bigdata ~]# vi /etc/hostname 

1.5　關閉防火牆

//臨時關閉
systemctl stop firewalld //禁止開機啟動
systemctl disable firewalld

1.6　修改repo

[root@bigdata ~]# cd /etc/yum.repos.d/
[root@bigdata yum.repos.d]# wget http://mirrors.163.com/.help/CentOS7-Base-163.repo

如果還有其他源，可以暫且把他們重命名成其他擴展名，比如 CentOS-Base.repo.bak

[root@bigdata yum.repos.d]# mv CentOS-Base.repo CentOS-Base.repo.bak

[root@bigdata yum.repos.d]# mv CentOS7-Base-163.repo CentOS7-Base.repo 
[root@bigdata yum.repos.d]# yum clean all
[root@bigdata yum.repos.d]# yum makecache

安裝 epel 源

[root@bigdata yum.repos.d]# yum install epel-release
[root@bigdata yum.repos.d]# yum makecache

檢查是否安裝成功

[root@bigdata yum.repos.d]# yum repolist

1.7　配置免密登錄

[root@bigdata ~]# ssh-keygen -t rsa

三次回車

將spark1上的公鑰復制到文件authorized_keys中

[root@spark1 ~]# cd .ssh
[root@spark1 .ssh]# cat id_rsa.pub > authorized_keys

將spark2、和spark3機器上的公鑰發送到spark1上

[root@spark2 .ssh]# scp -r id_rsa.pub root@192.168.123.110:~/spark2.pub
[root@spark3 .ssh]# scp -r id_rsa.pub root@192.168.123.110:~/spark3.pub

在spark1上將spark2、和spark3的公鑰追加到authorized_keys中

[root@bigdata ~]# cat spark2.pub > .ssh/authorized_keys 
[root@bigdata ~]# cat spark3.pub > .ssh/authorized_keys

在spark1上驗證ssh免密登錄是否設置成功

二、軟件的安裝

2.1　JDK的安裝

上傳並解壓

[root@spark1 ~]# tar -zxvf jdk-8u73-linux-x64.tar.gz -C apps/

修改環境變量

[root@spark1 apps]# vi /etc/profile

#JAVA
export JAVA_HOME=/root/apps/jdk1.8.0_73
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib 
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$HOME/bin 

保存並使其生效

[root@spark1 apps]# source /etc/profile

檢查