HDFS擴容方案

HDFS擴容

一、橫向擴容

橫向擴容的主要方法是增加集群的節點。

增加集群節點有熱部署和冷部署。

冷部署方法參考:https://www.cnblogs.com/phy2020/p/12361682.html

熱部署方法

1.新增一台機器

安裝方法參考：https://www.cnblogs.com/phy2020/p/12336768.html

配置好網絡，安全相關等基本設置。安裝好jdk，hadoop等軟件。

2.在namenode上配置新加機器的ip映射

vim /etc/hosts

192.168.100.200 hdp01
192.168.100.200 hdp02
192.168.100.200 hdp03

3.配置ssh免密

ssh-copy-id hdp03

4.在slaves加入新增主機

vim /opt/soft/hadoop277/etc/hadoop/slaves

hdp01
hdp02
hdp03

5.在hdp03啟動datanode

hadoop-daemon.sh start datanode

6.在50070端口頁面查看是否成功

容量擴大，節點增加至3個，擴容成功

二、縱向擴容

縱向擴容主要方法是將現有的主機硬盤容量擴大，需要使用到linux硬盤掛載的方法。

1.掛載硬盤

在VM虛擬機設置里新增一塊硬盤

硬盤分區

增加硬盤后重啟機器，可以看到dev文件夾多了sdb文件夾，dev文件夾里面全是linux的硬件設備。

cd /dev

fdisk sdb //設置分區
m    菜單
n    添加新分區
q    退出不保存
w    保存並退出

mkfs.xfs /dev/sdb1        //分區分好之后，初始化分區

硬盤掛載

創建一個給新硬盤掛載的文件夾，向該文件夾里存入數據就相當於往新硬盤里存入。

mkdir /sdb1        //創建sdb1文件夾

mount /dev/sdb1 /sdb1         //掛載硬盤，這樣掛載只是臨時生效，開機生效必須配置/etc/fstab

vim /etc/fstab        //打開磁盤-文件夾映射表
/dev/sdb1               /sdb1                   xfs     defaults        0 0

配置core-size.xml

 <property>
  <name>hadoop.tmp.dir</name>
  <value>/opt/soft/hadoop277/tmp,/sdb1/data</value>
 </property>
<!--使用多個目錄時，用‘,’隔開-->

重啟datanode

不需要重啟整個集群，只需要重啟新增硬盤節點的datanode就可以了。

hadoop-daemon.sh start datanode

 

節點1 縱向拓展成功