Hadoop基礎平台搭建
1.先確定自己的三個節點和主機名稱和ip和系統(本人使用centos7,並采用三台虛擬機)
主機名 | ip | 節點名 | 系統 |
master | 192.168.47.147 | 主節點 | centos7 |
slave1 | 192.168.47.148 | 主/從節點 | centos7 |
slave2 | 192.168.47.147 | 從節點 | centos7 |
2.克隆虛擬機(虛擬機必須在關機狀態下)
點擊右鍵 -> 管理 -> 克隆
選擇克隆方式 ---> 完全克隆 ---> 選擇存放位置(復制兩台)
3.打開虛擬機,永久修改主機名和ip並創建用戶
①:現在並不會直接修改需要重啟虛擬機(配置三個節點)
永久修改主機名:hostnamectl set-hostname master
②:修改slave1和slave2的ip
vi /etc/sysconfig/network-scripts/ifcfig-ens33
刷新網關: systemctl restart network
③:建立用戶設置密碼(配置三個節點)
useradd 用戶名
passwd 用戶名
輸入密碼后再確認一次輸入密碼
測試是否成功
su 用戶名
成功。
4.給新建的用戶添加root權限(配置三個節點)(這樣普通用戶也可以使用root寫入權限,命令前需要加“ sudo ”)
增加 /etc/sudoers 文件的寫入權限默認為只讀
chmod -v u+w /etc/sudoers 添加寫入權限
修改 sudoers 文件
vim /etc/sudoers
添加新建用戶,並給新用戶添加root權限
保存退出后 chmod -v u-w /etc/sudoers 去掉寫入權限
5.配置免密登錄
①:修改 /etc/hosts 文件填寫三個主機ip和主機名(配置三個節點)
②:生成密鑰並拷貝(配置三個節點)
ssh-keygen(輸入命令后直敲幾次回車)
③:master將密鑰拷貝給slave1和slave2以及本身(slave1和slave2也是相同,互相拷貝,也要給本機拷貝){配置三個節點}
拷貝時需要輸入‘yes’,然后輸入對應主機密碼。
④:測試是否成功
“ ssh 主機名 ”
5.安裝java的jdk和hadoop環境(配置三台節點,因上面配置完成免密后即可拷貝至其他兩個節點,注意在master節點上配置后拷貝至其他兩個節點,而且在新建的用戶下操作 )
①:建立存放安裝包的文件夾apps
在根“ / ”目錄下創建apps文件夾用來存放安裝包
sudo mkdir /apps
②:修改文件夾權限為當前用戶
sudo chown -R cwl02:cwl02 /apps
③:使用“ xftp工具 ”將jdk和hadoop的tar包上傳至‘ /apps ’文件夾下
④:解壓jdk和hadoop的tar包至" /opt "下
sudo tar -zxvf /存放文件夾/文件名 -C /解壓文件夾/
⑤:修改兩個文件的名字為java和hadoop
" cd /opt "查看文件夾
修改文件名:sudo mv hadoop-2.7.1 hadoop
⑥:查看時能看到文件是root權限,我們要將其改為當前的用戶權限
sudo chown -R 當前用戶:當前用戶 /文件路徑
⑦:拷貝兩個文件至其他兩個節點(slave1和slave2兩個節點)
sudo scp -r /opt/java @salve1:/opt/
sudo scp -r /opt/hadoop @salve1:/opt/
⑦:修改兩個節點的文件權限(配置三個節點,-R是遞歸修改意思是把目標文件夾下的所有文件修改為一個權限)
sudo chown -R cwl02:cwl02 /opt/
6.配置環境變量
①:配置java和hadoop的環境變量(配置三個節點)
編輯profile文件在最下面添加環境變量 sudo vim /etc/profile ;
export JAVA_HOME=/opt/java
export HADOOP_HOME=/opt/hadoop
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
②:生成環境變量(讓環境變量生效)
命令:source /etc/profile
③:測試環境變量
輸入:java
是否出現標注的字體(出現則成功)
成功。
新手錯誤
環境變量沒有成功:檢查環境變量的編寫是否出現錯誤;