【大數據】Hadoop單機安裝配置

1.解壓縮hadoop-2.7.6.tar.gz到/home/hadoop/Soft目錄中

    

2.創建軟鏈接，方便hadoop升級

 ln -s /home/hadoop/Soft/hadoop-2.7.6 /usr/local/soft/hadoop

 

 

根據軟鏈接路勁，修改/etc/profile

export JAVA_HOME=/usr/local/soft/java
export JRE_HOME=$JAVA_HOME/jre
export HADOOP_HOME=/usr/local/soft/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:/usr/local/soft/zookeeper/bin:/usr/local/soft/hbase/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib

使用vi /etc/profile編輯

使用source /etc/profile更新環境變量

 

3.配置hadoop偽分布式（要修改hadoop安裝目錄中的etc/hadoop下的5個文件）

 

 

第一個：hadoop-env.sh

     vim hadoop-env.sh

     export JAVA_HOME=/usr/local/soft/java

 

 

第二個：core-site.xml

<configuration>

          <!-- 用來指定hdfs的老大（NameNode）的地址 -->

        <property>

                <name>fs.defaultFS</name>

                <value>hdfs://itcast01:9000</value>

        </property>

          <!-- 用來指定Hadoop運行時產生文件的存放目錄 -->

        <property>

                <name>hadoop.tmp.dir</name>

                <value>/itcast/hadoop-2.2.0/tmp</value>

        </property>

</configuration>

 

 

第三個：hdfs-site.xml

     <configuration>

            <!-- 指定HDFS保存數據副本數量 --> 

          <property>

                <name>dfs.replication</name>

                <value>1</value>

        </property>

</configuration>

 

 

第四個：mapred-site.xml (需要從此文件復制mapred-site.xml.template)

     <configuration>

          <!-- 告訴hadoop以后MR運行在yarn上 -->

        <property>

                <name>mapreduce.framework.name</name>

                <value>yarn</value>

        </property>

     </configuration>

 

 

第五個：yarn-site.xml

 

<configuration>

          <!-- NodeManager獲取數據的方式是shuffle-->

        <property>

                <name>yarn.nodemanager.aux-services</name>

                <value>mapreduce_shuffle</value>

        </property>

          <!-- 指定YARN的老大（resourcemanager）的地址 -->

        <property>

                <name>yarn.resourcemanager.hostname</name>

                <value>itcast01</value>

        </property>

</configuration>

 

 

4..初始化HDFS

     

     #hadoop namenode -format(過時了)

     hdfs namenode -format

 

 

5.啟動文HDFS和YARN

     ./start-all.sh（過時了）This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh

Starting namenodes on [it]

 

 

     #有個小問題（需要多次輸入密碼）

     接下來，使用jps查看進程情況

     jps（jps 在 Linux/unix平台上簡單察看當前java進程的一些簡單情況），如果有以下進程則表示測試通過

Jps （java進程）

SecondaryNameNode （相當於NameNode的助理）

DataNode （hdfs部門的小弟，負責存放數據）

NameNode （hdfs部門的老大）

ResourceManager （yarn部門的老大，yarn負責資源管理）

NodeManager （yarn部門的小弟，可以一個，集群的話會有很多）

 

 

 

     另外，我們也可以在windows平台下，使用瀏覽器進行查看，是否搭建成功

     http://192.168.43.35:50070 

     http://192.168.43.35:8088