hadoop多硬盤配置注意點

[一]、實驗環境

1.1、環境

• hadoop 2.6.0
• namenode 2個  各增加 2個1T硬盤
• datanode   3個  各增加3個1T硬盤

1.2、掛載硬盤

• fdisk    分區 (輸入m—n—p—1–回車—回車—p—w)
• mkfs    格式化硬盤 ( mkfs.ext4 )
• mount  掛載硬盤 (以掛載目錄為 /bigdata/data0  /bigdata/data1 …. /bigdata/dataN 為例)
• 開機掛載  vi /etc/fstab :
  
   

   

   

   

   

  Shell

   

  1 2 3

  /dev/sda1               /bigdata/data0          ext4    defaults        0 0 /dev/sdb1               /bigdata/data1          ext4    defaults        0 0 /dev/sdc1               /bigdata/data2          ext4    defaults        0 0

命令不會使用的可以查閱相關文檔，只要注意配置掛載的新目錄賦予hadoop用戶的讀寫權限。

[二]、修改hadoop配置

2.1、修改 $HADOOP_HOME/hdfs-site.xml:

 

 

 

 

 

 

XHTML

 

1 2 3 4 5 6 7 8 9

<!-- 多個目錄逗號,分割，不能有空格 千萬注意 --> <property>     <name>dfs.namenode.name.dir</name>     <value>/bigdata/data0/dfs/name,/bigdata/data1/dfs/name</value> </property> <property>     <name>dfs.datanode.data.dir</name>     <value>/bigdata/data0/dfs/data,/bigdata/data1/dfs/data,/bigdata/data2/dfs/data</value> </property>

2.2、修改 $HADOOP_HOME/mapred-site.xml:

 

 

XHTML

 

1 2 3 4

<property>       <name>mapreduce.cluster.local.dir</name>       <value>/bigdata/data0/mapred/local,/bigdata/data1/mapred/local,/bigdata/data2/mapred/local</value> </property>

—————–  EOF @Michael Sun —————–

 

http://www.micmiu.com/bigdata/hadoop/hadoop-many-disk-config/