Hadoop基础平台搭建
1.先确定自己的三个节点和主机名称和ip和系统(本人使用centos7,并采用三台虚拟机)
主机名 | ip | 节点名 | 系统 |
master | 192.168.47.147 | 主节点 | centos7 |
slave1 | 192.168.47.148 | 主/从节点 | centos7 |
slave2 | 192.168.47.147 | 从节点 | centos7 |
2.克隆虚拟机(虚拟机必须在关机状态下)
点击右键 -> 管理 -> 克隆
选择克隆方式 ---> 完全克隆 ---> 选择存放位置(复制两台)
3.打开虚拟机,永久修改主机名和ip并创建用户
①:现在并不会直接修改需要重启虚拟机(配置三个节点)
永久修改主机名:hostnamectl set-hostname master
②:修改slave1和slave2的ip
vi /etc/sysconfig/network-scripts/ifcfig-ens33
刷新网关: systemctl restart network
③:建立用户设置密码(配置三个节点)
useradd 用户名
passwd 用户名
输入密码后再确认一次输入密码
测试是否成功
su 用户名
成功。
4.给新建的用户添加root权限(配置三个节点)(这样普通用户也可以使用root写入权限,命令前需要加“ sudo ”)
增加 /etc/sudoers 文件的写入权限默认为只读
chmod -v u+w /etc/sudoers 添加写入权限
修改 sudoers 文件
vim /etc/sudoers
添加新建用户,并给新用户添加root权限
保存退出后 chmod -v u-w /etc/sudoers 去掉写入权限
5.配置免密登录
①:修改 /etc/hosts 文件填写三个主机ip和主机名(配置三个节点)
②:生成密钥并拷贝(配置三个节点)
ssh-keygen(输入命令后直敲几次回车)
③:master将密钥拷贝给slave1和slave2以及本身(slave1和slave2也是相同,互相拷贝,也要给本机拷贝){配置三个节点}
拷贝时需要输入‘yes’,然后输入对应主机密码。
④:测试是否成功
“ ssh 主机名 ”
5.安装java的jdk和hadoop环境(配置三台节点,因上面配置完成免密后即可拷贝至其他两个节点,注意在master节点上配置后拷贝至其他两个节点,而且在新建的用户下操作 )
①:建立存放安装包的文件夹apps
在根“ / ”目录下创建apps文件夹用来存放安装包
sudo mkdir /apps
②:修改文件夹权限为当前用户
sudo chown -R cwl02:cwl02 /apps
③:使用“ xftp工具 ”将jdk和hadoop的tar包上传至‘ /apps ’文件夹下
④:解压jdk和hadoop的tar包至" /opt "下
sudo tar -zxvf /存放文件夹/文件名 -C /解压文件夹/
⑤:修改两个文件的名字为java和hadoop
" cd /opt "查看文件夹
修改文件名:sudo mv hadoop-2.7.1 hadoop
⑥:查看时能看到文件是root权限,我们要将其改为当前的用户权限
sudo chown -R 当前用户:当前用户 /文件路径
⑦:拷贝两个文件至其他两个节点(slave1和slave2两个节点)
sudo scp -r /opt/java @salve1:/opt/
sudo scp -r /opt/hadoop @salve1:/opt/
⑦:修改两个节点的文件权限(配置三个节点,-R是递归修改意思是把目标文件夹下的所有文件修改为一个权限)
sudo chown -R cwl02:cwl02 /opt/
6.配置环境变量
①:配置java和hadoop的环境变量(配置三个节点)
编辑profile文件在最下面添加环境变量 sudo vim /etc/profile ;
export JAVA_HOME=/opt/java
export HADOOP_HOME=/opt/hadoop
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
②:生成环境变量(让环境变量生效)
命令:source /etc/profile
③:测试环境变量
输入:java
是否出现标注的字体(出现则成功)
成功。
新手错误
环境变量没有成功:检查环境变量的编写是否出现错误;