hadoop3的jdk和基礎環境搭建參考 url: https://www.cnblogs.com/gzgBlog/p/13702720.html
處節點設置為：
| IP | 主機名 | 節點 |
| 192.168.10.11 | mater | NameNode（NN）、DataNode（DN） |
| 192.168.10.12 | slave01 | Secondary NameNode（SN）、DataNode（DN） |
| 192.168.10.13 | slave02 | DataNode（DN） |
三台機器分別修改ip和對應主機名（此處不做介紹）
配置需要 master 免密登錄 slave01和slave02（此處不做介紹）
master中配置解壓jdk， tar -zvxf jdk安裝包，
解壓hadoop安裝包，tar -zvxf ./appinstall/hadoop-3.2.1.tar.gz,環境變量中添加 jdk和hadoop vim /etc/profile
是配置文件生效，source /etc/profile
配置完成可分別使用 Java -version 和 hadoop version 測試，出現如下信息表示配置成功
1．部署及配置
Hadoop的配置涉及以下幾個文件，分別是：hadoop-env.sh、core-site.xml、hdfs-site.xml和workers。其中，
hadoop-env.sh是Hadoop運行環境變量配置；
core-site.xml是Hadoop公共屬性的配置；
hdfs-site.xml是關於HDFS的屬性配置；workers是DataNode分布配置。下面我們分別配置這幾個文件。
（1）hadoop-env.sh文件（注意：=左右均不能有空格）
在/etc/hadoop/hadoop-env.sh中配置運行環境變量，在默認情況下，這個文件是沒有任何配置的。我們需要配置JAVA_HOME、HDFS_NAMENODE_USER和HDFS_DATANODE_USER等，HDFS_SECONDARYNAMENODE_USER配置代碼如下：
export JAVA_HOME=/app/jdk1.8.0_211
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
其中，JAVA_HOME= /app/hadoop-3.2.1 是指定JDK的位置，
HDFS_NAMENODE_USER=root是指定操作NameNode進程的用戶是root。
同理，HDFS_DATANODE_USER和HDFS_SECONDARYNAMENODE_USER分別指定了操作DataNode和Secondary NameNode的用戶，在這里我們設置為root用戶，具體應用時，讀者根據情況進行設置即可。
在這里需要注意的是，HDFS_NAMENODE_USER、HDFS_DATANODE_USER和HDFS_SECONDARYNAMENODE_USER是Hadoop 3.x為了提升安全性而引入的。
（2）core-site.xml文件
core-site.xml中主要配置Hadoop的公共屬性，配置代碼如下：
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://master:9820</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/opt/hadoopdata</value> </property> </configuration>
其中，
fs.defaultFS是指定NameNode所在的節點，在這里配置為node1；9820是默認端口；hdfs：是協議；
hadoop.tmp.dir是配置元數據所存放的配置，這里配置為/opt/hadoopdata，后續如果需要查看fsiamge和edits文件，可以到這個目錄下查找。
（3）hdfs-site.xml文件
hdfs-site.xml文件中主要是HDFS屬性配置，配置代碼如下：
<configuration> <property> <name>dfs.namenode.secondary.http-address</name> <value>slave01:9868</value> </property> </configuration>
其中，dfs.namenode.secondary.http-address屬性是配置SecondaryNameNode的節點，在這里配置為node2。端口為9868。
關於這些配置，讀者可以從官網上查找，網址為http://hadoop.apache.org/docs/r3.1.0/，其中的左下角有個Configuration項，其中包括core-default.xml等配置文件。
（4）workers文件
在workers中配DataNode節點，在其中寫入：
master
slave01
slave02
將hadoop和 profile 分別復制到另外兩台機器上
分別使另外兩天機器profile配置生效
格式化
第一次安裝Hadoop需要進行格式化，以后就不需要了。格式化命令在hadoop/bin下面，執行命令： hdfs namenode -format,如下格式成功
格式化后會創建一個空白的fsimage文件，可以在opt/hadoopdata/dfs/name/current中找到fsimage文件，注意此時沒有edits文件。
啟動命令
進入hadoop/sbin下面運行start-dfs.sh，啟動HDFS集群，啟動命令如下：
如上，表示啟動成功，分別去另外兩個節點查看是否啟動成功，如下表示啟動成功
打開瀏覽器查看HDFS監聽頁面
在瀏覽器中輸入http://ip:9870，比如這里輸入http://192.168.10.11:9870/，出現以下界面則表示Hadoop完全分布式搭建成功，如圖所示。
選擇Datanodes選項，可以看到DataNode的利用率和DataNode的節點狀態，如下圖所示
上傳文件
將1.txt上傳到HDFS的根目錄“/”下面，命令如下： hdfs dfs -put ./1.txt /
