Hadoop兩種擴容方式
1、橫向擴容(增加datanode節點數)
①、克隆之前配置好的從屬機,修改靜態ip地址,在namenode機上配置hosts文件,將新的從屬機IP地址映射加入進去
②、因為hadoop支持熱部署,可以在已經啟動的情況下在slaves文件中加入hadoop03,然后在從屬機上手動啟動datanode進程,namenode會自動監聽slaves中每個從屬機的進程狀態,啟動之后會自動加入到livenodes中去。也可以在服務啟動之前就加入到slaves中去,啟動服務時會自動啟動所有從屬機的datanode進程。
2、縱向擴容(增加datanode的存儲容量)
①、給datanode虛擬機增加一塊硬盤,重啟虛擬機以加載硬盤。
②、進入到 /dev文件夾下 ,使用 ll |grep sd 命令可以看到有新增一個sdb,這就是新加的硬盤的配置文件
使用fdisk對sdb進行配置
1> fdisk sdb //進入配置菜單 輸入m可以查看命令提示
2>n //添加分區
3>p //添加的分區類型為主分區
4>1 //第幾個主分區
5>直接按回車 //從第幾個扇區開始 默認是2048
6>直接回車 //分配的大小 默認是全部
7>w //保存修改並退去配置菜單
8> ll |grep sd //再次查看,如果多出一個sdb01標明配置完成
③、新建一個文件夾,將新磁盤配置的分區和該文件夾綁定(掛載)
1>臨時掛載,重啟之后會失效,使用 mount /dev/sdb1 /sdb1
↑ ↑
要綁定的分區文件位置 要綁定的文件夾的位置
2>永久掛載,重啟之后也不會失效
vim /etc/fstab
最下方加入一行代碼
/dev/sdb1 /sdb1 xfs defaults 0 0 //添加配置
分區位置 文件夾位置
④、 修改hdfs-site.xml 加入如下配置
dfs.datanode.data.dir
⑤、start-dfs.sh