Hadoop----1.基礎平台搭建


Hadoop基礎平台搭建

1.先確定自己的三個節點和主機名稱和ip和系統(本人使用centos7,並采用三台虛擬機)

主機名 ip 節點名 系統
master 192.168.47.147 主節點 centos7
slave1 192.168.47.148 主/從節點 centos7
slave2 192.168.47.147 從節點 centos7

2.克隆虛擬機(虛擬機必須在關機狀態下)

點擊右鍵 -> 管理 -> 克隆

選擇克隆方式 --->  完全克隆 --->  選擇存放位置(復制兩台)

3.打開虛擬機,永久修改主機名和ip並創建用戶

①:現在並不會直接修改需要重啟虛擬機(配置三個節點)

永久修改主機名:hostnamectl set-hostname master

②:修改slave1和slave2的ip

vi /etc/sysconfig/network-scripts/ifcfig-ens33

刷新網關: systemctl restart network

③:建立用戶設置密碼(配置三個節點)

useradd 用戶名

passwd 用戶名

輸入密碼后再確認一次輸入密碼

測試是否成功

su 用戶名

成功。

4.給新建的用戶添加root權限(配置三個節點)(這樣普通用戶也可以使用root寫入權限,命令前需要加“ sudo ”)

增加 /etc/sudoers 文件的寫入權限默認為只讀

chmod -v u+w /etc/sudoers 添加寫入權限

修改 sudoers 文件

vim /etc/sudoers

添加新建用戶,並給新用戶添加root權限

保存退出后  chmod -v u-w /etc/sudoers 去掉寫入權限

5.配置免密登錄

①:修改 /etc/hosts 文件填寫三個主機ip和主機名(配置三個節點)

②:生成密鑰並拷貝(配置三個節點)

ssh-keygen(輸入命令后直敲幾次回車)

③:master將密鑰拷貝給slave1和slave2以及本身(slave1和slave2也是相同,互相拷貝,也要給本機拷貝){配置三個節點}

拷貝時需要輸入‘yes’,然后輸入對應主機密碼。

④:測試是否成功

 “ ssh 主機名 ”

5.安裝java的jdk和hadoop環境(配置三台節點,因上面配置完成免密后即可拷貝至其他兩個節點,注意在master節點上配置后拷貝至其他兩個節點,而且在新建的用戶下操作 )

①:建立存放安裝包的文件夾apps

在根“ / ”目錄下創建apps文件夾用來存放安裝包

sudo mkdir /apps

②:修改文件夾權限為當前用戶

sudo chown -R cwl02:cwl02 /apps

③:使用“  xftp工具  ”將jdk和hadoop的tar包上傳至‘ /apps ’文件夾下

④:解壓jdk和hadoop的tar包至" /opt "下

sudo tar -zxvf /存放文件夾/文件名  -C /解壓文件夾/

⑤:修改兩個文件的名字為java和hadoop

" cd /opt "查看文件夾

修改文件名:sudo mv hadoop-2.7.1  hadoop

⑥:查看時能看到文件是root權限,我們要將其改為當前的用戶權限

sudo chown -R 當前用戶:當前用戶 /文件路徑

⑦:拷貝兩個文件至其他兩個節點(slave1和slave2兩個節點)

sudo scp -r /opt/java @salve1:/opt/

sudo scp -r /opt/hadoop @salve1:/opt/

⑦:修改兩個節點的文件權限(配置三個節點,-R是遞歸修改意思是把目標文件夾下的所有文件修改為一個權限)

sudo chown -R cwl02:cwl02 /opt/  

6.配置環境變量

①:配置java和hadoop的環境變量(配置三個節點)

編輯profile文件在最下面添加環境變量 sudo vim /etc/profile ;

export JAVA_HOME=/opt/java
export HADOOP_HOME=/opt/hadoop
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

②:生成環境變量(讓環境變量生效)

命令:source /etc/profile

③:測試環境變量

輸入:java

是否出現標注的字體(出現則成功)

成功。

新手錯誤

環境變量沒有成功:檢查環境變量的編寫是否出現錯誤;

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM