Hadoop的兩種擴容方式


Hadoop兩種擴容方式

1、橫向擴容(增加datanode節點數)

①、克隆之前配置好的從屬機,修改靜態ip地址,在namenode機上配置hosts文件,將新的從屬機IP地址映射加入進去

②、因為hadoop支持熱部署,可以在已經啟動的情況下在slaves文件中加入hadoop03,然后在從屬機上手動啟動datanode進程,namenode會自動監聽slaves中每個從屬機的進程狀態,啟動之后會自動加入到livenodes中去。也可以在服務啟動之前就加入到slaves中去,啟動服務時會自動啟動所有從屬機的datanode進程。

3URDRf.png

2、縱向擴容(增加datanode的存儲容量)

①、給datanode虛擬機增加一塊硬盤,重啟虛擬機以加載硬盤。

②、進入到 /dev文件夾下 ,使用 ll |grep sd 命令可以看到有新增一個sdb,這就是新加的硬盤的配置文件

使用fdisk對sdb進行配置

1> fdisk sdb //進入配置菜單 輸入m可以查看命令提示

2>n //添加分區

3>p //添加的分區類型為主分區

4>1 //第幾個主分區

5>直接按回車 //從第幾個扇區開始 默認是2048

6>直接回車 //分配的大小 默認是全部

7>w //保存修改並退去配置菜單

8> ll |grep sd //再次查看,如果多出一個sdb01標明配置完成

③、新建一個文件夾,將新磁盤配置的分區和該文件夾綁定(掛載)

1>臨時掛載,重啟之后會失效,使用 mount /dev/sdb1 /sdb1

​ ↑ ↑

​ 要綁定的分區文件位置 要綁定的文件夾的位置

2>永久掛載,重啟之后也不會失效

​ vim /etc/fstab

​ 最下方加入一行代碼

​ /dev/sdb1 /sdb1 xfs defaults 0 0 //添加配置

​ 分區位置 文件夾位置

​ ④、 修改hdfs-site.xml 加入如下配置

3U5hxP.png

dfs.datanode.data.dir

⑤、start-dfs.sh


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM