Linux中Hadoop的安裝與配置

一、准備
1，配通網絡 ping www.baidu.com
之前安裝虛擬機時配過
2，關閉防火牆
systemctl stop firewalld
systemctl disable firewalld（開機自動關閉）
3，關閉 selinux
vi /etc/selinux/config
修改為selinux disabled
4，關閉 NetworkManager
systemctl stop NetworkManager
systemctl disable NetworkManager
5，修改計算機名 hadp01(根據個人喜好)
6，配置yum源
安裝 yum install wget
做個備份 mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
運行 yum makecache 生成緩存
7，備份，做個快照
二、Hadoop的安裝與配置
1，下載hadoop
https://dist.apache.org/repos/dist/release/hadoop/common/
2，先創建幾個目錄
mkdir
/opt/install 上傳
/opt/software 安裝
/opt/other 其他
/opt/test 測試
a.上傳 rz
解壓 tar -zxvf jdk-8u181-linux-x64.tar.gz 和 tar -zxvf hadoop-2.7.7.tar.gz
jdk：

               cd /opt/install   #進入安裝包目錄
               rz   jdk-8u181-linux-x64.tar.gz   #上傳JDK
               tar   -zxvf   jdk-8u181-linux-x64.tar.gz  #解壓JDK
               mv  jdk1.8.0_181   ../software/jdk1.8   #移動到/opt/software目錄

               Hadoop：

               cd  /opt/installed      #進入/opt/installed目錄
               rz  hadoop-2.7.7.tar.gz   #上傳hadoop2.7.7版本
               mv  hadoop-2.7.7.tar.gz  ../software/hadoop-2.7.7  #移動到software目錄

   b.移動到安裝目錄中software   mv jdk1.8 ../software
                               mv hadoop-2.7.7  ../software
   c.配置環境變量 
                  vim /etc/profile #編輯環境變量
                  JAVA_HOME=/opt/software/jdk1.8
                  HADOOP_HOME=opt/software/hadoop-2.7.7
                  PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin;$HADOOP_HOME/sbin
                  source /etc/profile   #使環境變量生效
                  測試 是否配置成功 echo  $PATH 

3，偽分布式
A，修改主機名 vim /etc/hostname #編輯主機名文件
hadp01
B,修改主機映射
vim /etc/hosts #編輯主機映射文件
192.168.1.63（IP） hadp01（主機名）
C,實現ssh免密碼登錄
ssh-keygen #生成密鑰對
ssh-copy-id hdp01 #將公鑰拷貝給本機
ssh-copy-id hdp02 #將公鑰拷貝給其他機
再回車一下會出來一個圖形就OK了，重啟
D,修改/opt/software/hadoop-2.7.7/etc/hadoop目錄內的一系列文件
1.hadoop-env.sh
cd /opt/software/hadoop-2.7.7 #進入hadoop-2.7.7目錄

       vim etc/hadoop/hadoop-env.sh        #編輯配置文件hadoop-env.sh

       export JAVA_HOME=/opt/software/jdk1.8  #修改25行

       export HADOOP_CONF_DIR=/opt/software/hadoop-2.7.7/etc/hadoop  #修改33行
    2.core-site.xml
       <configuration>

       <!-- 指定HDFS中NameNode的地址 -->
       <property>
            <name>fs.defaultFS</name>
            <value>hdfs://主機名:9000</value>
       </property>

       <!-- 指定hadoop運行時產生文件的存儲目錄 -->
       <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/software/hadoop-2.7.7/tmp</value>
       </property>

      </configuration>
   3.hdfs-site.xml
       <configuration>
        <!-- 指定HDFS副本的數量 -->
         <property>
             <name>dfs.replication</name>
             <value>1</value>
         </property>  
 
         <property>
             <name>dfs.permissions</name>
             <value>false</value>
         </property>

        </configuration>
   4.mapred-site.xml
       <!-- 指定mr運行在yarn上 -->
        <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
        </property>
   5.yarn-site.xml
        <!-- 指定YARN的ResourceManager的地址 -->
         <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>主機名</value>
         </property>

        <!-- reducer獲取數據的方式 -->
         <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
         </property>
 E，修改slaves文件
    vim etc/hadoop/slaves
    將里面的localhost刪除 改為hadp01
 F,格式化文件系統
    hadoop namenode  -format
 G,啟動Hadoop
   start-all.sh 全部啟動
   stop-all.sh  全部關閉
 H，測試Hadoop
   http://主機IP:port/

   NameNode web工程 端口號：50070 

　　 DataNode web工程 端口號：50075

　　 SecondaryNameNode web工程 端口號：50090

　　 ResourceManager web工程 端口號：8088