【轉】Hadoop集群添加磁盤步驟


轉自:http://blog.csdn.net/huyuxiang999/article/details/17691405

一、實驗環境 :

1、硬件:3台DELL服務器,CPU:2.27GHz*16,內存:16GB,一台為master,另外2台為slave。

2、系統:均為CentOS6.3

3、Hadoop版本:CDH4.5,選用的mapreduce版本不是yarn,而是mapreduce1,整個集群在cloudera manager的監控下,配置時也是通過manager來配置(通過更改配置文件是一樣的道理)。

二、背景:

隨着數據量的增長,實驗室的hdfs存儲不夠,故新買了2*2TB的硬盤,加裝在2台datanode服務器上。hadoop不需要做raid(hdfs有其他機器保證數據冗余),因此將硬盤直接插在服務器上,在BIOS中找到新的硬盤即可。

三、硬盤分區、格式化:

每個硬盤分5個區,其中三個為主分區,另外兩個為邏輯分區。

1、查看硬盤掛載情況

輸入命令fdisk -l可以查看系統中有幾塊硬盤。一般第一塊硬盤為/dev/sda,第二塊為/dev/sdb,以此類推。如果沒有找到加裝的那塊硬盤,說明系統沒有識別,需重啟服務器,進入BIOS設置。

2、硬盤分區

輸入命令fdisk /dev/sdb(因為這里是第二塊硬盤,所以輸入的是/dev/sdb,這個需要根據情況)

這里可以輸入m看一下具體有哪些參數。

輸入p,可以顯示本硬盤分區情況,由於是新硬盤,因此沒有分區信息。

下面創建第一個主分區。

輸入n創建分區,然后在接下來的提示中輸入p,代表創建主分區,再輸入1,表示創建第一個主分區(一共可以創建4個主分區),接下來輸入起始柱面,一般就選默認,然后輸入結束柱面,此處也可輸入大小,如+400G,表示這個分區的大小為400G,這樣,第一個主分區就創建好了。

然后按上述步驟創建第2,第3個主分區,均為400G。

接下來創建2個邏輯分區。

輸入n,然后在接下來的提示中輸入e,表示創建擴展分區,輸入起始柱面,一般為默認,然后輸入結束柱面,同樣為默認,表示此擴展分區使用剩下的所有空間。這樣,一個擴展分區就做好了,然后我們要在這個擴展分區上創建兩個邏輯分區,創建的方法和創建主分區很相似,同樣先輸入n,然后接下來的步驟相信讀者一定會做了。

最后所有分區創建完之后,記得輸入w保存分區,否則等於沒有做。

3、格式化分區

輸入命令mkfs -t ext4 /dev/sdb1,表示把分區/dev/sdb1格式化成ext4文件系統,同樣的方法格式化其他分區。

4、mount分區到目錄

可以選擇把某一分區mount到已有目錄,也可以mount到新建目錄。注意如果mount到已有目錄,要先把該目錄下的文件備份。本文是新建目錄的:mkdir -p /hd/sdb1,然后mount /dev/sdb1 /hd/sdb1,同樣mount其他分區。

5、修改/etc/fstab

如果不修改,則每次開機時都要手動做第4步,比較麻煩。打開fstab文件,按照已有的條目添加5個新建分區,每一個條目的最后兩個數據均為0 0

四、hdfs擴容

我把上述5個分區的容量全部加到hdfs中。首先在每一個分區的掛載目錄中新建子目錄/dfs/dn,如mkdir -p /hd/sdb1/dfs/dn,然后修改dn目錄的權限:

chown -R hdfs:hadoop /hd/sdb1/dfs/dn

這樣hdfs才能使用該目錄(每一個分區都要新建/dfs/dn)。

打開cloudera manager,找到“服務”-》“hdfs”

選擇“配置”-》“查看和編輯”,然后在左邊找到datanode(默認),右邊的第一個屬性中,原來只有一個條目(我的是/dfs/dn),為了使hdfs使用新的硬盤,因此要添加我們創建的分區,后面的5條都是我加的目錄。

然后點開datanode(默認)

找到“高級”,在右邊的datanode卷選擇策略中,選擇“可用空間”,這樣,后面的兩個屬性(“10G字節”和“0.75”)就會發揮作用,用於平衡各個卷中空間使用。

保存以上配置,然后重啟hdfs,即可將hdfs擴容。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM