Hadoop偽分布式配置

系統:Centos6.5

創建需要的文件夾

進入安裝包文件夾
mkdir /opt/jdk
mkdir /opt/hadoop

安裝jdk

解壓縮jdk安裝包
tar -zxvf jdk-8u144-linux-x64.tar.gz

移動文件夾jdk1.8.0_144到/opt/java下面，並改名為jdk1.8
mv jdk1.8.0_144/ /opt/jdk/jdk1.8

配置jdk的環境變量
vim /etc/profile
在末尾空白行添加如下信息
#Java Config
export JAVA_HOME=/opt/jdk/jdk1.8

export JRE_HOME=/opt/jdk/jdk1.8

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib

export PATH=.:${JAVA_HOME}/bin:$PATH

修改環境變量后都要刷新文件才能生效
source /etc/profile

測試是否配置成功
java -version 

配置環境變量

#Java Config
export JAVA_HOME=/opt/jdk/jdk1.8

export JRE_HOME=/opt/jdk/jdk1.8

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib

# Hadoop Config
export HADOOP_HOME=/opt/hadoop/hadoop2.7

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

# PATH config
export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:$PATH

Hadoop2.7.3偽分布式配置

解壓文件,並移動解壓后的文件重名為 /opt/hadoop/hadoop2.7

配置環境變量,參考/etc/profile的 # Hadoop Config

到現在配置的為Hadoop的默認的 "Hadoop單機配置"

cd /opt/hadoop/hadoop2.7/etc/hadoop/
gedit hadoop-env.sh

修改如下信息:
export JAVA_HOME=/opt/jdk/jdk1.8

gedit core-site.xml

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/opt/hadoop/hadoop2.7/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://本機IP:9000</value>
    </property>
</configuration>

gedit hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/opt/hadoop/hadoop2.7/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/opt/hadoop/hadoop2.7/tmp/dfs/data</value>
    </property>
</configuration>

Hadoop配置文件說明
Hadoop 的運行方式是由配置文件決定的（運行 Hadoop 時會讀取配置文件），因此如果需要從偽分布式模式切換回非分布式模式，需要刪除 core-site.xml 中的配置項。

此外，偽分布式雖然只需要配置 fs.defaultFS 和 dfs.replication 就可以運行（官方教程如此），不過若沒有配置 hadoop.tmp.dir 參數，則默認使用的臨時目錄為 /tmp/hadoo-hadoop，而這個目錄在重啟時有可能被系統清理掉，導致必須重新執行 format 才行。所以我們進行了設置，同時也指定 dfs.namenode.name.dir 和 dfs.datanode.data.dir，否則在接下來的步驟中可能會出錯。

cd /opt/hadoop/hadoop2.7/
./bin/hdfs namenode -format 
成功的話，會看到 “successfully formatted” 和 “Exitting with status 0” 的提示，若為 “Exitting with status 1” 則是出錯。

啟動hdfs
/opt/hadoop/hadoop2.7/sbin/start-dfs.sh
查看啟動情況
http://localhost:50070

yarn配置

cd /opt/hadoop/hadoop2.7/etc/hadoop/
mv mapred-site.xml.template  mapred-site.xml
gedit mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

gedit yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
        </property>
</configuration>

啟動hdfs
/opt/hadoop/hadoop2.7/sbin/start-dfs.sh
啟動yarn
/opt/hadoop/hadoop2.7/sbin/start-yarn.sh

查看啟動情況
http://localhost:8088/cluster