Hadoop2.8.2安裝與配置(單機)

下載Hadoop

解壓並移動到/software目錄：

tar -zxvf hadoop-2.8.2.tar.gz
mv hadoop-2.8.2 /software/hadoop

在/etc/profile文件添加：

export HADOOP_HOME=/software/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$PATH
export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH

保存並且更新/etc/profile文件：source /etc/profile。

編輯hadoop-env.sh文件：vim $HADOOP_HOME/etc/hadoop/hadoop-env.sh，在最后加上：

export JAVA_HOME=/software/jdk

修改Configuration文件：vim $HADOOP_HOME/etc/hadoop/core-site.xml

<configuration>
        <property>
                <name>fs.default.name</name>
                <value>hdfs://localhost:9000</value>
        </property>
</configuration>

修改hdfs-site.xml：vim $HADOOP_HOME/etc/hadoop/hdfs-site.xml

<configuration>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
</configuration>

修改mapred-site.xml：

cp $HADOOP_HOME/etc/hadoop/mapred-site.xml.template $HADOOP_HOME/etc/hadoop/mapred-site.xml
vim $HADOOP_HOME/etc/hadoop/mapred-site.xml

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>

修改yarn-site.xml：vim $HADOOP_HOME/etc/hadoop/yarn-site.xml

<configuration>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

初始化hadoop：

hdfs namenode –format

啟動

$HADOOP_HOME/sbin/start-all.sh

輸入jps查看是否成功：

檢查WebUI，瀏覽器打開端口：http://localhost:8088

這里是用宿主機訪問虛擬機，所以ip是虛擬機的ip。

停止

$HADOOP_HOME/sbin/stop-all.sh

安裝完成。

但是在啟動時候有一個警告，提示hadoop不能加載本地庫：

解決方法：
在/etc/profile中添加:

HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_COMMON_LIB_NATIVE_DIR"

保存並更新文件:source /etc/profile
並且在hadoop-env.sh添加: vim $HADOOP_HOME/etc/hadoop/hadoop-env.sh

export HADOOP_HOME=/software/hadoop
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_COMMON_LIB_NATIVE_DIR"