Hadoop 集群搭建步驟


1.先建立一台虛擬機,分配內存2G,硬盤20G,網絡為nat 模式,設置一個靜態的ip 地址:  例如設定3台機器的ip 為 192.168.63.167(master)   192.16863.168(slave1)  192.168.63.169 (slave2)

2.修改第一台主機的用戶名  

 

 

 

 3.復制master文件兩次,重命名為slave1和slave2,打開虛擬機文件,然后按照同樣的方法設置兩個節點的ip和主機名 

 

 

 

 4.建立主機名和ip的映射

 

 

 5.查看是否能ping通,關閉防火牆和selinux 配置 

6.配置ssh免密碼登錄
在root用戶下輸入ssh-keygen -t rsa 一路回車

 

 

 

 秘鑰生成后在~/.ssh/目錄下,有兩個文件id_rsa(私鑰)和id_rsa.pub(公鑰),將公鑰復制到authorized_keys並賦予authorized_keys600權限

 同理在slave1和slave2節點上進行相同的操作,然后將公鑰復制到master節點上的authoized_keys

 

 

 檢查是否免密登錄(第一次登錄會有提示)

 7..安裝JDK(省去)

三個節點安裝java並配置java環境變量

 8.安裝MySQL(master 節點 省去)

9.安裝SecureCRT或者xshell 客戶端工具  ,然后分別鏈接上 3台服務器   

12.搭建集群
12.1 集群結構
三個結點:一個主節點master兩個從節點   內存2GB 磁盤20GB

 

 

 

12.2 新建hadoop用戶及其用戶組
用adduser新建用戶並設置密碼 

將新建的hadoop用戶添加到hadoop用戶組 

 

 

前面hadoop指的是用戶組名,后一個指的是用戶名 

 

 

賦予hadoop用戶root權限

 

 

 

 

 

 12.3 安裝hadoop並配置環境變量

由於hadoop集群需要在每一個節點上進行相同的配置,因此先在master節點上配置,然后再復制到其他節點上即可。

將hadoop包放在/usr/目錄下並解壓

 

 

 

配置環境變量

在/etc/profile文件中添加如下命令

 

 

 12.4 搭建集群的准備工作

在master節點上創建以下文件夾

/usr/hadoop-2.6.5/dfs/name

/usr/hadoop-2.6.5/dfs/data

/usr/hadoop-2.6.5/temp

 

12.5 配置hadoop文件
接下來配置/usr/hadoop-2.6.5/etc//hadoop/目錄下的七個文件

slaves    core-site.xml    hdfs-site.xml     mapred-site.xml     yarn-site.xml     hadoop-env.sh   yarn-env.sh

 

 

 

配置hadoop-env.sh

 

 

 

配置yarn-env.sh

 

 

 

配置slaves文件,刪除localhost

 

 

 

配置core-site.xml

 

 

 

 

配置hdfs-site.xml

 

 

 

配置mapred-site.xml

 

 

 

 

配置yarn-site.xml

 

 

 

 

將配置好的hadoop文件復制到其他節點上

 

 

12.6 運行hadoop
格式化Namenode 

source /etc/profile 

 

 

 

 13. 啟動集群

[root@master sbin]# ./start-all.sh

原文鏈接:https://blog.csdn.net/code__online/article/details/80178032


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM