搭建hadoop+spark+hive環境（centos極速安裝和配置spark）

總共分為三步：

第一步安裝配置hadoop：搭建hadoop+spark+hive環境（centos全遠程hadoop極速安裝及配置）

第二步安裝配置spark：搭建hadoop+spark+hive環境（centos極速安裝和配置spark）

第三步安裝配置hive：搭建hadoop+spark+hive環境（centos極速安裝和配置hive）

I、下載並解壓spark

#下載spark
wget --no-cookies --no-check-certificate http://apache.claz.org/spark/spark-2.4.4/spark-2.4.4-bin-hadoop2.7.tgz

#解壓spark
tar xzf spark-2.4.4-bin-hadoop2.7.tgz

#移動到hadoop文件夾中
mv spark-2.4.4-bin-hadoop2.7 /usr/local/hadoop/

II、配置系統環境

#編輯配置文件
vim /etc/profile

#添加下面兩行
export SPARK_HOME=/usr/local/hadoop/spark-2.4.4-bin-hadoop2.7
export PATH=/data/hadoop/spark/bin:$PATH

III、修改配置文件

#進入conf目錄中
cd /usr/local/hadoop/spark-2.4.4-bin-hadoop2.7/conf

#先從提供的模板中復制slaves和spark-env.sh文件
cp slaves.template slaves
cp spark-env.sh.template spark-env.sh

#編輯slaves文件
（刪除原有的內容,添加節點）
servera
serverb

#編輯spark-env.sh
vim spark-env.sh

#添加下面內容
export SPARK_HOME=/usr/local/hadoop/spark-2.4.4-bin-hadoop2.7
export JAVA_HOME=/usr/local/java/jdk1.8.0_141
export HADOOP_HOME=/usr/local/hadoop/hadoop-2.7.7
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export SPARK_LIBARY_PATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$HADOOP_HOME/lib/native
export SPAR_MASTER_PORT=7077
export SPARK_MASTER_HOST=servera

#最后別忘記source一下
source spark-env.sh

將spark及相關復制到其他節點

IV、啟動spark

#因為hadoop和spark均有start—all.sh,所以進入spark目錄啟動
cd /usr/local/hadoop/spark-2.4.4-bin-hadoop2.7/sbin/

#啟動spark
./start-all.sh 

#使用jps查看一下進程
jps

如果分別出現

 

 

 

 表示spark安裝成功