centos7安裝hadoop2.7.7

下載hadoop-2.7.7 網址如下

https://www-eu.apache.org/dist/hadoop/core/

移動到/opt 路徑下

在/opt下新建一個文件夾，名為app mkdir app

將/opt 下的hadoop-2.7.7.tar.gz 解壓到/opt/app 下

tar -xzvf hadoop-2.7.7.tar.gz -C /opt/app

修改環境變量 vi /etc/profile

export HADOOP_HOME=/usr/app/hadoop-2.7.7
export PATH =$HADOOP_HOME/bin:$PATH

刷新環境變量 source /etc/profile

查看hadoop版本信息 hadoop version

配置hadoop-env.sh文件，修改JAVA_HOME,修改成jdk的安裝路徑 位置 cd /usr/app/hadoop-2.7.7/etc/hadoop

vi hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_231

修改 core-site.xml vi core-site.xml 添加如下配置

<property>
    <name>fs.defaultFS</name>
    <!-- 這里填的是你自己的ip，端口默認-->
    <value>hdfs://49.235.89.98:9000</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <!-- 這里填的是你自定義的hadoop工作的目錄，端口默認-->
    <value>/opt/app/hadoop-2.7.7/tmp</value>
</property>

<property>
    <name>hadoop.native.lib</name>
    <value>false</value>
    <description>Should native hadoop libraries, if present, be used.
    </description>
</property>

修改 hdfs-site.xml vi hdfs-site.xml 添加如下配置

   <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>

    <property>
        <name>dfs.secondary.http.address</name>
        <!--這里是你自己的ip，端口默認-->
        <value>49.235.89.98:50090</value>
    </property>

復制默認的cp mapred-site.xml.template ./mapred-site.xml 配置命名為mapred-site.xml

修改 mapred-site.xml vi mapred-site.xml 添加如下配置

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

修改 yarn-site.xml vi yarn-site.xml 添加如下配置

<property>
    <name>yarn.resourcemanager.hostname</name>
    <!-- 自己的ip端口默認 -->
    <value>49.235.89.98</value>
</property>
<!-- reducer獲取數據的方式 -->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

格式化hadoop文件格式 切換到目錄 cd /opt/app/hadoop-2.7.7/sbin

hadoop namenode -format

運行測試： ./start-all.sh