Hadoop-3.1.2 安裝步驟
第一步 准備 服務器配置
1. 在VMware中安裝把Centos7安裝成功后，需要把界面設置為命令行啟動，因為默認的啟動方式是圖形界面啟動
systemctl set-default multi-user.target
2. 修改IP 地址，網絡連接的配置
cd /etc/sysconfig/network-scripts/ 進入目錄
ls 查看目錄下的所有文件
vi ifcfg-ens33 修改此文件
修改內容如下
3 重啟網絡配置，使網絡配置生效
service network restart 重啟網絡設置
4. 停止防火牆
systemctl disable firewalld.service
5.修改hosts文件
vi /etc/hosts
6. 設置hostname
hostnamectl set-hostanme master
7 安裝jdk
通過xftp把jdk安裝包復制到虛擬機的/root/apps下，並安裝當前目錄中
tar -zxvf ./jdk-8u231-linux-x64.tar.gz -C ./
8 安裝hadoop
通過xftp把hadoop安裝包復制到虛擬機的/root/apps下，並安裝在當前目錄中
tar -zxvf ./hadoop-3.1.2.tar.gz -C ./
第二步 SSH免密登錄配置
9 把java和hadoop配置為環境變量
vi /etc/profile
10 重啟配置使配置生效
source /etc/profile
通過命令查看jdk或者hadoop是否安裝成功
11. 設置hadoop中java環境
vi /root/apps/hadoop-3.1.2/etc/hadoop/hadoop-env.sh
12 配置文件的修改配置
(1)core-site.xml
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/root/bigdata/hddata</value>
</property>
(2) hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>slaver01:9001</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
(3) mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
(4) yarn-site.xml
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
13 配置worker
vi /root/apps/hadoop-3.1.2/etc/hadoop/workers
14 修改 vi /root/apps/hadoop-3.1.2/etc/hadoop/yarn-env.sh
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
15 在 sbin，修改start-dfs.sh,stop-dfs.sh,都添加：
vi /root/apps/hadoop-3.1.2/sbin/start-dfs.sh
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root