hadoop 偽分布環境部署


1,安裝hadoop

      我下載的安裝包 hadoop-3.2.0.tar.gz

      解壓包到/usr/local目錄下,並mv hadoop-3.2.0 hadoop 

      接着添加環境變量

      vi /etc/profile 

      再最后添加  export PATH=$PATH:/usr/local/hadoop/bin

      保存后 source /etc/profile .

      檢查 是否安裝成功:which hadoop。

2,配置hadoop-env.sh

      在hadoop-env.sh中添加java 環境變量

      export JAVA_HOME=/usr/java/jdk1.8.0_40

3,配置core-site.xml

     <configuration>

           <property>
                 <name>hadoop.tmp.dir</name>
                 <value>file:/home/hadoop/hadoop/dfs</value>
                 <description>Abase for other temporary directories.</description>
          </property>
          <property>
                 <name>fs.defaultFS</name>
                 <value>hdfs://localhost:9000</value>
          </property>
      </configuration>

       全局配置

       hadoop.tmp.dir: 指定了一塊臨時目錄,供后面創建節點使用

       fs.defaultFS:     指定了hdfs 的  NameNode RPC 交互接口

 

3,配置hdfs-site.xml

          <configuration>

                <property>
                    <name>dfs.replication</name>
                    <value>1</value>
               </property>
               <property>
                    <name>dfs.namenode.name.dir</name>
                    <value>file:/home/hadoop/hadoop/dfs/dfs/name</value>
               </property>
               <property>
                     <name>dfs.datanode.data.dir</name>
                     <value>file:/home/hadoop/hadoop/dfs/dfs/data</value>
               </property>
               <property>
                     <name>dfs.http.address</name>
                     <value>127.0.0.1:50070</value>
               </property>
         </configuration>

        hdfs配置

        dfs.replication:指定了hdfs 中每個block被復制的次數。我們這里的偽分布式只有一個數據節點,所以設置為1.

        dfs.namenode.name.dir:指定了hdfs 的NameNode 的目錄路徑

        dfs.datanode.data.dir:指定了hdfs 的DataNode 的目錄路徑

        dfs.http.address:指定了http訪問的地址與端口。

3,配置mapred-site.xml

      mapreduce配置

4,格式化hdfs

     hadoop namenode –format

     執行結果:在/home/hadoop/hadoop/dfs 目錄下產生name目錄

    

 

5,啟動

      ./sbin/start-all.sh 

      執行結果如下

      

 

6, 瀏覽器瀏覽 127.0.0.1:50070,顯示hadoop頁面成功

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM