hadoop集群部署

1) 安裝jdk 
下載jdk-6u21-linux-i586.bin 
然后修改/etc/profile： 

export JAVA_HOME=/usr/local/jdk  
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH  
export PATH=$PATH:$JAVA_HOME/bin  

保存，並執行source /etc/profile 

2) 配置host 
Namenode的機器，需要配置集群中所有機器的ip 
修改/etc/hosts 

10.10.236.190   master  
10.10.236.191   slave-A  
10.10.236.193   slave-B  

 

其他的datanode的/etc/hosts 只需要配置namenode的機器ip和本機ip 

10.10.236.190   master  
10.10.236.191   slave-A  

修改hostname(可選) 
vi /proc/sys/kernel/hostname 

3) 建立ssh無密碼登錄 
首先進到root目錄下  

root@master:~# $ssh-keygen  -t  rsa 

 

進入.ssh目錄 

root@master:~/.ssh# cp id_rsa.pub authorized_keys  

 

其余的datanode的機器 
新建.ssh目錄 

root@slave-A:~# mkdir .ssh  

在name（master）上遠程拷貝 

root@master:~/.ssh# scp authorized_keys slave-A:/root/.ssh/  

 

測試ssh 

4) 安裝hadoop 
下載Hadoop 解壓到每台服務器的/data/soft 
解壓

root@master:/data/soft# tar zxvf hadoop-0.21.0.tar.gz  

建立軟連

root@master:/data/soft# ln -s hadoop-0.21.0 hadoop  

 

然后修改/etc/profile 

export HADOOP_HOME=/data/soft/hadoop  
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin  

 

5) 配置hadoop 
1.修改conf/hadoop-env.sh，添加jdk支持

export JAVA_HOME=/usr/local/jdk  

  如果ssh端口不是默認的22，在conf/hadoop-env.sh里改下。如：

export HADOOP_SSH_OPTS="-p 1234"

 

2.修改conf/core-site.xml，增加下面內容 
   

<property>   
        <name>fs.default.name</name>    
        <value>hdfs://master:54310</value> //這個才是真正決定namenode  
</property>  
<property>    
        <name>hadoop.tmp.dir</name>    
        <value>/data/hdfs/tmp</value>  //臨時文件，有問題的時候，可以刪除  
        <description>A base for other temporary directories.</description>  
</property>  

 

3.修改conf/hdfs-site.xml，增加下面內容 

<property>  
        <name>dfs.name.dir</name>  
        <value>/data/hdfs/name</value> //namenode持久存儲名字空間，事務日志的本地路徑  
</property>  
<property>  
        <name>dfs.data.dir</name>  
        <value>/data/hdfs/data</value> //datanode存放數據的路徑  
</property>  
<property>  
        <name>dfs.datanode.max.xcievers</name>  
        <value>4096</value>  
</property>  
<property>  
        <name>dfs.replication</name>  
        <value>1</value> //數據備份的個數，默認是3  
</property>  

 

3.修改conf/mapred-site.xml，增加下面內容 
    

<property>  
        <name>mapred.job.tracker</name> //jobTracker的主機  
        <value>master:54311</value>  
</property>  

 

4. .修改conf/masters，這個決定那個是secondarynamenode 

master

5 .修改conf/slaves，這個是所有datanode的機器 

slaves-A
slaves-B

6) 將配置好的hadoop拷貝到所有的datanode 

root@master:/data/soft/hadoop/conf# scp -rp /data/soft/hadoop-0.21.0 10.10.236.191:/data/soft/hadoop-0.21.0  

 

在datanode上建立對應的軟連 

7) 格式化hdfs文件系統的namenode 

root@master:/data/soft/hadoop# bin/hadoop namenode –format  

輸入Y 

8) 啟動hadoop集群

root@master:/data/soft/hadoop# bin/start-all.sh 

 

9) Hdfs操作 
建立目錄 

root@master:/data/soft/hadoop # bin/hadoop dfs -mkdir testdir

查看現有文件 

root@master:/data/soft/hadoop # bin/hadoop dfs -ls 

10) 關閉Hdfs

root@master:/data/soft/hadoop# bin/stop-all.sh 

轉自 http://running.iteye.com/blog/890971