hadoop完全分布式部署


1.我們先看看一台節點的hdfs的信息:(已經安裝了hadoop的虛擬機:安裝hadoophttps://www.cnblogs.com/lyx666/p/12335360.html)

start-dfs 打開hdfs需要啟動的服務

然后再瀏覽器輸入http://虛擬機ip地址:50070

問下滑: 可以看到以下相關信息

可以看到集群總容量大概為10G,而該集群只有一台機器,所以集群容量=該機器容量,可以看看這台虛擬機的硬盤是不是10G.

df -h / #確實是10G

2.接下來就要擴容該集群的容量,將這台虛擬機克隆(克隆步驟省略)

3.克隆機需要先配置以下

把克隆的dfs文件夾清空

將該文件夾下的數據清空:rm -rf *

網絡ip:


BOOTPROTO=static 原本為DHCP
ONBOOT=yes 原本為no
IPADDR=192.168.43.62 ip地址 在網段里就行
NETMASK=255.255.255.0 子網掩碼
GATEWAY=192.168.43.1 網關 需要查看主機的ipv4地址配置
DNS1=8.8.8.8 谷歌的dns解析


改完后重啟網絡:systemctl restart network

修改主機名

我這里是已經修改好了的,你們原本應該是localhost的主機名,我修改成lyx-62

修改后記得重啟這台虛擬機:reboot

配置ip和主機名映射 還需要加上被克隆的虛擬機的ip和主機映射 【注意:這里兩台都要添加修改】


修改后記得重啟這兩台虛擬機:reboot

配置ssh免密通信

(lyx-62)ssh-keygen #創建密鑰對#
(lyx-62)ssh-copy-id lyx-62 #將公鑰復制到lyx-62 也就是本機

注意這里另一台也需要(lyx-61):ssh-copy-id lyx-62 這樣兩台就能免密通信

修改hdfs-site.xfs配置文件 副本數修改為3【注意兩台機器都需要修改】

 <configuration>
          <property>
                  <name>dfs.replication</name>
                  <value>3</value>
          </property>
  </configuration>

將克隆機主機名添加到slaves配置文件中 也就是加入到集群中 這里修改的是【被克隆的】slaves.xml文件

3.只啟動被克隆的hdfs需要的服務

start-dfs.sh  #可以看到lyx-62啟動了datanode服務,說明它已經加入到這個集群了 所以它的硬盤也被加入到集群了

接下來我們在回過頭來看看集群信息 可以發現硬盤容量增加了,說明lyx-62這台也被加入到集群了。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM