Hadoop2.7.3分布式集群安裝

一、依賴文件安裝

     1.1 JDK

          參見博文：http://www.cnblogs.com/liugh/p/6623530.html

二、文件准備

     2.1 文件名稱

         hadoop-2.7.3.tar.gz

     2.2 下載地址

         http://hadoop.apache.org/releases.html    

三、工具准備

    3.1 Xshell

      一個強大的安全終端模擬軟件，它支持SSH1, SSH2, 以及Microsoft Windows 平台的TELNET 協議。

      Xshell 通過互聯網到遠程主機的安全連接以及它創新性的設計和特色幫助用戶在復雜的網絡環境中享受他們的工作。

    3.2 Xftp

     一個基於 MS windows 平台的功能強大的SFTP、FTP 文件傳輸軟件。

    使用了 Xftp 以后，MS windows 用戶能安全地在UNIX/Linux 和 Windows PC 之間傳輸文件。

四、部署圖

五、Hadoop安裝

    以下操作，均使用root用戶

   5.1 主機名與IP地址映射關系配置

      Master節點上，執行如下命令：
      #vi /etc/hosts

     在文件最后，輸入如下內容：

10.10.0.1 DEV-SH-MAP-01
10.10.0.2 DEV-SH-MAP-02
10.10.0.3 DEV-SH-MAP-03

    保存，退出，然后通過scp命令，將配置好的文件拷貝其他兩個Slave節點：

    #scp /etc/hosts root@DEV-SH-MAP-02:/etc

    #scp /etc/hosts root@DEV-SH-MAP-03:/etc

  5.2 SSH免登陸配置

     #ssh-keygen -t rsa

     一直回車

     然后分別拷貝到Master以及Slave節點：

 #ssh-copy-id DEV-SH-MAP-01
 #ssh-copy-id DEV-SH-MAP-02
 #ssh-copy-id DEV-SH-MAP-03

    通過#ssh DEV-SH-MAP-02 測試是否配置成功，如果不需要輸入密碼，則證明配置成功

   5.3 通過Xftp將下載下來的Hadoop安裝文件上傳到Master及兩個Slave的/usr目錄下

   5.4 通過Xshell連接到虛擬機，在Master及兩個Slave上，執行如下命令，解壓文件：

        # tar zxvf hadoop-2.7.3.tar.gz 

   5.5 在Master上，使用Vi編輯器，設置環境變量

        # vi /etc/profile

        在文件最后，添加如下內容：       

# Hadoop Env
export HADOOP_HOME=/usr/hadoop-2.7.3
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

   5.6 退出vi編輯器，使環境變量設置立即生效

       # source /etc/profile

       通過scp命令，將/etc/profile拷貝到兩個Slave節點：

       #scp /etc/profile root@DEV-SH-MAP-02:/etc

       #scp /etc/profile root@DEV-SH-MAP-03:/etc

       分別在兩個Salve節點上執行# source /etc/profile使其立即生效

   5.7 查看Hadoop版本信息

# hadoop version
Hadoop 2.7.3
Subversion https://git-wip-us.apache.org/repos/asf/hadoop.git -r baa91f7c6bc9cb92be5982de4719c1c8af91ccff
Compiled by root on 2016-08-18T01:41Z
Compiled with protoc 2.5.0
From source with checksum 2e4ce5f957ea4db193bce3734ff29ff4
This command was run using /usr/hadoop-2.7.3/share/hadoop/common/hadoop-common-2.7.3.jar

六、Hadoop配置

    以下操作均在Master節點，配置完后，使用scp命令，將配置文件拷貝到兩個Slave節點即可。

   切換到/usr/hadoop-2.7.3/etc/hadoop/目錄下，修改如下文件：

   6.1 hadoop-env.sh

   在文件最后，增加如下配置：

export JAVA_HOME=/usr/jdk1.8.0_121
export HADOOP_PREFIX=/usr/hadoop-2.7.3

   6.2 yarn-env.sh

   在文件最后，增加如下配置：

export JAVA_HOME=/usr/jdk1.8.0_121

   6.3 core-site.xml

   創建tmp目錄：#mkdir /usr/hadoop-2.7.3/tmp

<configuration>
   <property>
        <name>fs.defaultFS</name>
        <value>hdfs://DEV-SH-MAP-01:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/mnt/hadoop/tmp</value>
    </property>
</configuration>

   6.4 hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/mnt/hadoop/dfs/name</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/mnt/hadoop/dfs/data</value>
  </property>
</configuration>

   6.5 mapred-site.xml

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>DEV-SH-MAP-01:10020</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>DEV-SH-MAP-01:19888</value>
  </property>
</configuration>

   6.6 yarn-site.xml

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>
  <property>
    <name>yarn.resourcemanager.address</name>
    <value>DEV-SH-MAP-01:8032</value>
  </property>
  <property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>DEV-SH-MAP-01:8030</value>
  </property>
  <property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>DEV-SH-MAP-01:8031</value>
  </property>
  <property>
    <name>yarn.resourcemanager.admin.address</name>
    <value>DEV-SH-MAP-01:8033</value>
  </property>
  <property>
    <name>yarn.resourcemanager.webapp.address</name>
    <value>DEV-SH-MAP-01:8088</value>
  </property>
</configuration>

   6.7 slaves

DEV-SH-MAP-01
DEV-SH-MAP-02
DEV-SH-MAP-03

 6.8 拷貝配置文件到兩個Slave節點

   在Master節點，執行如下命令：   

   # scp -r /usr/hadoop-2.7.3/etc/hadoop/ root@DEV-SH-MAP-02:/usr/hadoop-2.7.3/etc/

   # scp -r /usr/hadoop-2.7.3/etc/hadoop/ root@DEV-SH-MAP-03:/usr/hadoop-2.7.3/etc/

七、Hadoop使用

  7.1 格式化NameNode

      Master節點上，執行如下命令

     #hdfs namenode -format

  7.2 啟動HDFS（NameNode、DataNode）

    Master節點上，執行如下命令

    #start-dfs.sh

    使用jps命令，分別在Master以及兩個Slave上查看Java進程

    可以在Master上看到如下進程：

34225 SecondaryNameNode
33922 NameNode
34028 DataNode
49534 Jps

   在兩個Slave上，看到如下進程：

34028 DataNode
49534 Jps

 7.3 啟動 Yarn（ResourceManager 、NodeManager）

    Master節點上，執行如下命令

    #start-yarn.sh

    使用jps命令，分別在Master以及兩個Slave上查看Java進程

 可以在Master上看到如下進程：

34225 SecondaryNameNode
33922 NameNode
34632 NodeManager
34523 ResourceManager
34028 DataNode
49534 Jps

   在兩個Slave上，看到如下進程：

34632 NodeManager
34028 DataNode
49534 Jps

  7.4 通過瀏覽器查看HDFS信息

  瀏覽器中，輸入http://10.10.0.1:50070

 

   7.5 通過瀏覽器查看Yarn信息

  瀏覽器中，輸入http://10.10.0.1:8088

 

 7.6 停止Yarn及HDFS

      #stop-yarn.sh

      #stop-dfs.sh