虛擬機安裝hadoop


1.用VMware建立兩台虛擬機(Centos6.5)系統,並設立主機名為node1與node2

2.設置虛擬機網絡兩台都是設置為如圖:

3.修改兩台虛擬機的/etc/hosts的文件為 (其中192.168.159.129是node1的IP,192.168.159.130為node2的IP)

   node1修改為:

        192.168.159.129 localhost node1 localhost4 localhost4.localdomain4
         ::1 localhost node1 localhost6 localhost6.localdomain6
        192.168.159.130 node2

   node2修改為:

        192.168.159.130 localhost node1 localhost4 localhost4.localdomain4
         ::1 localhost node1 localhost6 localhost6.localdomain6
        192.168.159.129 node1

4.安裝JDK並配置環境變量

5.把下載好的hadoop-1.2.1-tar.gz放到root目錄下

6.執行解壓命令解壓

  tar -zxvf hadoop-1.2.1-tar.gz

7.解壓出來的由於目錄比較長最好加個軟鏈

  ln -sf /root/hadoop-1.2.1 /home/hadoop-1.2

  折樣/home目錄下就會出現

  以后直接訪問home下的hadoop-1.2就會直接到安裝的hadoop-1.2.1目錄

8.在node1上運行命令 cd /home/hadoop-1.2/conf進入hadoop配置文件目錄修改配置文件

  a.運行vi core-site.xml修改為   

<configuration>
          <property>
              <name>fs.default.name</name>
                    <value>hdfs://node1:9000</value>
          </property>
          <property>
              <name>hadoop.tmp.dir</name>
                   <value>/opt/hadoop-1.2</value>
          </property>

</configuration>

   注:hdfs://node1:9000為hdfs的訪問地址 node1是主機名或可為ip地址但不能寫localhsot因為外部訪問不到

       /opt/hadoop-1.2為hdfs的工作目錄(可以不設)默認為hadoop的tmp目錄下(重啟后數據就會消失下次還得重新格式化)     

  b.運行 vim hdfs-site.xml修改     

<configuration>
 <property>
         <name>dfs.replication</name>
         <value>1</value>
     </property>
</configuration>

  這里配置的是block的副本數因為有兩台虛擬機所以副本數設置為1

  c.運行 vi slaves 

node2

  這里配置的是datanode的主機

  d.運行 vi masters

node2

  配置SecondaryNameNode在node2主機上

  e.運行 vi hadoop-env.sh修改你的java環境地址

    export JAVA_HOME=/opt/jdk1.7.0_79

  9.把你hadoop-1.2.1-tar.gz放到node2上和node1相同的目錄並解壓

  10 在node1上的切換到hadoop-1.2的conf目錄下

    運行 scp ./*root@node2:/home/hadoop-1.2

    把配置文件拷貝到node2上使node1和node2擁有相同的配置信息

  11.在node1上格式化hadoop 

    切換到bin目錄運行  ./hadoop namenode -format

  配置成功

  12.設置免密碼登錄ssh

  

 

    

    

 

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM