聲明
1）該文章整理自網上的大牛和專家無私奉獻的資料，具體引用的資料請看參考文獻。
2）本文僅供學術交流，非商用。如果某部分不小心侵犯了大家的利益，還望海涵，並聯系博主刪除。
3）博主才疏學淺，文中如有不當之處，請各位指出，共同進步，謝謝。
4）此屬於第一版本，若有錯誤，還需繼續修正與增刪。還望大家多多指點。大家都共享一點點，一起為祖國科研的推進添磚加瓦。
一：實驗環境
1 1.1 服務器上啟動三台虛擬機 2 root@master 11.24.24.111 master 3 root@slave1 11.24.24.112 slave1 4 root@slave2 11.24.24.113 slave2 5 6 7 1.2 軟件版本： 8 hadoop-2.7.6 + spark-3.0.0 + Scala2.13.2 9 10 修改主機名和hosts 11 1.1 更改主機名 12 root@master:~$ sudo vim /etc/hostname 13 改成master //其他兩個分別改為slave1 和slave2 14 注意：主機名全部以小寫字母開頭，后文在配置環境時注意不要誤用大寫！ 15 16 1.2 修改hosts 17 root@master:~# sudo vim /etc/hosts 18 修改hosts 需要將注釋的所有127.0.0.1以及locahost 取消注釋！！！！不然子節點無法啟動 19 //將原文件（127.0.0.0 localhost）下面添加以下信息： 20 11.24.24.111 master 21 11.24.24.112 slave1 22 11.24.24.113 slave2 23 24 //退出后重啟虛擬機 25 root@master:~# sudo reboot 26 27 //分別對集群中的所有節點進行以上相似的設置
二：安裝基礎環境（Java和scala）
1 對所有節點安裝java和scala 2 3 2.1 Java環境搭建 4 1）下載jdk-1.8並解壓到 /usr/local 5 6 root@master:~$ sudo tar -zxvf jdk-8u251-linux-x64.tar.gz -C /usr/local/ 7 8 2）添加java環境變量，在/etc/profile中添加： 9 10 root@master:~$ sudo vim /etc/profile 11 12 export JAVA_HOME=/usr/local/java 13 PATH=$JAVA_HOME/bin:$PATH 14 CLASSPATH=.:$JAVA_HOME/lib/rt.jar 15 export JAVA_HOME PATH CLASSPATH 16 17 3）保存后刷新配置 18 [root@master ~]# source /etc/profile 19 20 4）使用java -version命令確認 21 [root@master ~]# java -version 22 java version "1.8.0_251" 23 Java(TM) SE Runtime Environment (build 1.8.0_251-b08) 24 Java HotSpot(TM) 64-Bit Server VM (build 25.251-b08, mixed mode) 25 26 27 2.2 scala環境搭建 28 1）下載scala安裝包scala2.13.2.tgz安裝到 /usr/local/ 29 30 root@master:~$ sudo tar -zxvf scala2.13.2.tgz -C /usr/local/ 31 root@master:~$ mv scala2.13.2 scala 32 2）添加Scala環境變量，在/etc/profile中添加： 33 34 root@master:~# sudo vim /etc/profile 35 36 export SCALA_HOME=/usr/local/scala 37 export PATH=$SCALA_HOME/bin:$PATH 38 39 3)保存后刷新 40 root@master:~# source /etc/profile 41 42 4）使用scala -version命令確認 43 [root@master ~]# scala -version 44 45 Scala code runner version 2.13.2 -- Copyright 2002-2020, LAMP/EPFL and Lightbend, Inc.
三：ssh無密碼驗證配置
1 -對所有節點安裝ssh 2 root@master:~$ sudo yum install ssh 3 4 3.1 配置master無密碼登錄所有slave 5 以下是在master節點上執行以下命令： 6 1）在master節點上生成密碼對 7 ubuntu@master:~$ ssh-keygen -t rsa -P '' 8 9 // Enter 繼續 10 //生成的密鑰對：id_rsa和id_rsa.pub存儲在” ~/.ssh”目錄下(注意可能會不同) 11 12 2）把id_rsa.pub追加到授權的key里面去 13 root@master:~$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 14 15 3）修改ssh配置文件”/etc/ssh/sshd_config”的下列內容 16 root@master:~$ sudo vim /etc/ssh/sshd_config 17 18 追加以下內容： 19 RSAAuthentication yes 20 PubkeyAuthentication yes 21 AuthorizedKeysFile %h/.ssh/authorized_keys 22 23 24 4) 重啟ssh服務，才能使剛才設置有效 25 root@master:~$ shutdown -r now 26 27 5) 驗證無密碼登錄本機是否成功。 28 root@master:~$ ssh master 29 30 注意：無密碼登錄成功后，使用Ctrl+D退出當前登錄，防止嵌套登錄 31 32 6）把公鑰復制到所有的Slave機器上 33 root@master:~$ scp ~/.ssh/id_rsa.pub root@slave1:~/ #注意不能有空格 34 root@master:~$ scp ~/.ssh/id_rsa.pub root@slave2:~/ #注意直接放在主目錄下 35 36 可以到slave節點的機器中看一下 ~/.ssh/ 是否多處了一個內容id_rsa.pub 37 38 -以下是在slave1 (11.24.24.112)節點的配置操作 39 1）將Master的公鑰追加到Slave1的授權文件”authorized_keys”中去。 40 root@slave1:~ $ cat ~/id_rsa.pub >> ~/.ssh/authorized_keys 41 42 2) 修改”/etc/ssh/sshd_config”，具體步驟參考前面Master設置的第3步和第4步。 43 root@slave1:~/.ssh$ sudo vim /etc/ssh/sshd_config 44 45 3）用master使用ssh無密碼登錄slave1 46 root@master:~$ ssh 11.24.24.112 或者是 ssh root@slave1 47 48 4）把slave節點中的” ~/”目錄下的”id_rsa.pub”文件刪除掉。 49 root@slave1:~/.ssh$ rm -r ~/id_rsa.pub 50 重復上面的4個步驟把Slave2服務器進行相同的配置 51 52 53 3.2 配置slave無密碼登錄master 54 -以下是在slave1節點(11.24.24.112)的配置操作。 55 // 1）創建”Slave1”自己的公鑰和私鑰，並把自己的公鑰追加到”authorized_keys”文件中，執行下面命令： 56 57 root@slave1:~/.ssh$ ssh-keygen -t rsa -P '' 58 root@slave1:~/.ssh$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 59 60 2）將slave1節點的公鑰”id_rsa.pub”復制到Master節點的”/root/”目錄下。 61 62 root@slave1:~/.ssh$ scp ~/.ssh/id_rsa.pub root@master:~/ 63 64 以下是在master節點的配置操作 65 1）將Slave1的公鑰追加到Master的授權文件”authorized_keys”中去。 66 67 root@slave1:~ $ cat ~/id_rsa.pub >> ~/.ssh/authorized_keys 68 69 2）刪除Slave1復制過來的”id_rsa.pub”文件。 70 71 root@slave1:~ $ rm -r ~/id_rsa.pub 72 73 // 配置完成后測試從Slave1到Master無密碼登錄。 74 75 root@slave1:~ $ ssh 11.24.24.111 76 77 按照上面的步驟把Slave2和Master之間建立起無密碼登錄。 78 - 這樣，Master能無密碼驗證登錄每個Slave，每個Slave也能無密碼驗證登錄到Master。
四：Hadoop 完全分布式搭建
-以下是在master節點上的操作 1）下載hadoop 並解壓到/opt/ root@master:~$ sudo tar -zxvf hadoop.tar.gz -C /opt/ 2)修改配置文件，添加以下內容 root@master:~$ sudo vim /etc/profile export HADOOP_HOME=/opt/hadoop export PATH=$PATH:$HADOOP_HOME/bin export PATH=$PATH:$HADOOP_HOME/sbin export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME export HADOOP_ROOT_LOGGER=INFO,console export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib" 修改完成后執行： root@master:~$ source /etc/profile [root@master hadoop]# mkdir data [root@master hadoop]# mkdir tmp [root@master hadoop]# mkdir name 3）修改hadoop的相關配置 修改JAVA_HOME 如下： root@master:/opt/hadoop $ sudo vim ./etc/hadoop/hadoop-env.sh export JAVA_HOME=/usr/local/java 修改$HADOOP_HOME/etc/hadoop/slaves，將原來的localhost刪除，改成如下內容： root@master:/opt/hadoop$ sudo vim ./etc/hadoop/slaves slave1 slave2 修改$HADOOP_HOME/etc/hadoop/core-site.xml root@master:/opt/hadoop$ sudo vim ./etc/hadoop/core-site.xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property> <property> <name>io.file.buffer.size</name> <value>131072</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/opt/hadoop/tmp</value> </property> </configuration> 修改$HADOOP_HOME/etc/hadoop/hdfs-site.xml root@master:/opt/hadoop$ sudo vim ./etc/hadoop/hdfs-site.xml <configuration> <property> <name>dfs.namenode.secondary.http-address</name> <value>master:50090</value> </property> <property> <name>dfs.replication</name> <value>2</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/opt/hadoop/hdfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/opt/hadoop/hdfs/data</value> </property> </configuration> 復制template，生成xml，命令如下： root@master:/opt/hadoop/etc/hadoop$ cp mapred-site.xml.template mapred-site.xml 修改$HADOOP_HOME/etc/hadoop/mapred-site.xml root@master:/opt/hadoop/etc/hadoop$ sudo vim mapred-site.xml <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapreduce.jobhistory.address</name> <value>master:10020</value> </property> <property> <name>mapreduce.jobhistory.address</name> <value>master:19888</value> </property> </configuration> 修改$HADOOP_HOME/etc/hadoop/yarn-site.xml root@master:/opt/hadoop/etc/hadoop$ sudo vim yarn-site.xml <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.resourcemanager.address</name> <value>master:8032</value> </property> <property> <name>yarn.resourcemanager.scheduler.address</name> <value>master:8030</value> </property> <property> <name>yarn.resourcemanager.resource-tracker.address</name> <value>master:8031</value> </property> <property> <name>yarn.resourcemanager.admin.address</name> <value>master:8033</value> </property> <property> <name>yarn.resourcemanager.webapp.address</name> <value>master:8088</value> </property> </configuration> 4）復制master節點的hadoop文件夾到slave1和slave2上 scp -r /opt/hadoop root@slave1:/opt 5）在Slave1和Slave2上分別修改/etc/profile，(hadoop的配置信息) 過程同master一樣 格式化HDFS [只有首次部署才可使用]【謹慎操作，只在master上操作】 root@master:~$ hadoop namenode -format 啟動集群 【只在master上操作】 root@master:~$ /opt/hadoop/sbin/start-all.sh 6）查看三台集群是否啟動成功： jps [root@master sbin]# jps 24673 NodeManager 30547 Jps 21081 NameNode 24331 ResourceManager 23180 SecondaryNameNode 22015 DataNode [root@slave1 ~]# jps 8323 NodeManager 8759 Jps 8092 DataNode [root@slave2 ~]# jps 6677 Jps 6266 DataNode 6414 NodeManager SecondaryNameNode是NameNode的備份，本文將其都配置master節點上。（一般是配置在不同的節點上，以助於主節點掛掉的時候對它恢復） slave1和slave2都僅作為計算節點（DataNode） -至此hadoop的完全分布式環境搭建成功。 7)web端11.24.24.111:8088查看
五：Spark 2.1.0完全分布式環境搭建
1 -以下操作都是在master節點進行 2 1）下載二進制包spark-3.0.0-bin-hadoop2.7.tgz 3 2）解壓到相應目錄 4 root@master:~$ tar -zxvf spark-3.0.0-bin-hadoop2.7.tgz -C /opt 5 root@master:~$ mv /opt/spark-3.0.0-bin-hadoop2.7.tgz /opt/spark 6 7 3）修改相應的配置文件 8 修改/etc/profie，增加如下內容： 9 10 root@master:/opt$ sudo vim /etc/profile 11 12 export SPARK_HOME=/opt/spark/ 13 export PATH=$PATH:$SPARK_HOME/bin 14 15 復制spark-env.sh.template成spark-env.sh 16 17 root@master:/opt/spark/conf$ sudo cp spark-env.sh.template spark-env.sh 18 19 修改$SPARK_HOME/conf/spark-env.sh，添加如下內容.（標注需要改為自己的版本） 20 21 root@master:/opt/spark-2.1/conf$ sudo vim spark-env.sh 22 23 export JAVA_HOME=/usr/local/java 24 export SCALA_HOME=/usr/local/scala 25 export HADOOP_HOME=/opt/hadoop 26 export HADOOP_CONF_DIR=/opt/hadoop/etc/hadoop 27 export SPARK_MASTER_IP=11.24.24.111 28 export SPARK_MASTER_HOST=11.24.24.111 29 #export SPARK_LOCAL_IP=11.24.24.112 30 #export SPARK_LOCAL_IP=11.24.24.113 31 export SPARK_LOCAL_IP=0.0.0.0 32 export SPARK_WORKER_MEMORY=1g 33 export SPARK_WORKER_CORES=2 34 export SPARK_HOME=/opt/spark 35 export SPARK_DIST_CLASSPATH=$(/opt/hadoop/bin/hadoop classpath) 36 37 復制slaves.template成slaves 38 root@master:/opt/spark/conf$ sudo cp slaves.template slaves 39 40 修改$SPARK_HOME/conf/slaves，在原來的localhost下面改為如下內容： 41 root@master:/opt/spark/conf$ sudo vim slaves 42 43 master 44 slave1 45 slave2 46 （注意，如果不刪除之前的localhost，spark搭建完成之后，會出現多個worker） 47 48 4）將配置好的spark文件復制到slave1和slave2節點 49 root@master:/opt$ scp -r /opt/spark root@slave1:~ //拷貝整個目錄 50 root@master:/opt$ scp -r /opt/spark root@slave2:~ 51 root@slave1:~$ sudo mv spark/ /opt 52 root@slave2:~$ sudo mv spark/ /opt 53 54 5）修改slave1和slave2配置。 55 root@slave1:~$ sudo vim /etc/profile 56 57 在slave1和slave2上分別修改/etc/profile，增加Spark的配置，過程同master一樣。 58 export SPARK_HOME=/opt/spark/ 59 export PATH=$PATH:$SPARK_HOME/bin 60 61 在save1和save2修改$SPARK_HOME/conf/spark-env.sh 62 root@master: $ sudo vim /opt/spark-2.1/conf/spark-env.sh 63 64 將export SPARK_LOCAL_IP=192.168.110.XXX改成slave1和slave2對應節點的IP 65 66 6) 在Master節點啟動集群 67 先啟動hadoop，在啟動spark 68 69 root@master:/opt$ /opt/hadoop/sbin/start-all.sh 70 root@master:/opt$ /opt/spark/sbin/start-all.sh 71 72 7）查看集群是否啟動成功：jps