Hadoop----1.基础平台搭建


Hadoop基础平台搭建

1.先确定自己的三个节点和主机名称和ip和系统(本人使用centos7,并采用三台虚拟机)

主机名 ip 节点名 系统
master 192.168.47.147 主节点 centos7
slave1 192.168.47.148 主/从节点 centos7
slave2 192.168.47.147 从节点 centos7

2.克隆虚拟机(虚拟机必须在关机状态下)

点击右键 -> 管理 -> 克隆

选择克隆方式 --->  完全克隆 --->  选择存放位置(复制两台)

3.打开虚拟机,永久修改主机名和ip并创建用户

①:现在并不会直接修改需要重启虚拟机(配置三个节点)

永久修改主机名:hostnamectl set-hostname master

②:修改slave1和slave2的ip

vi /etc/sysconfig/network-scripts/ifcfig-ens33

刷新网关: systemctl restart network

③:建立用户设置密码(配置三个节点)

useradd 用户名

passwd 用户名

输入密码后再确认一次输入密码

测试是否成功

su 用户名

成功。

4.给新建的用户添加root权限(配置三个节点)(这样普通用户也可以使用root写入权限,命令前需要加“ sudo ”)

增加 /etc/sudoers 文件的写入权限默认为只读

chmod -v u+w /etc/sudoers 添加写入权限

修改 sudoers 文件

vim /etc/sudoers

添加新建用户,并给新用户添加root权限

保存退出后  chmod -v u-w /etc/sudoers 去掉写入权限

5.配置免密登录

①:修改 /etc/hosts 文件填写三个主机ip和主机名(配置三个节点)

②:生成密钥并拷贝(配置三个节点)

ssh-keygen(输入命令后直敲几次回车)

③:master将密钥拷贝给slave1和slave2以及本身(slave1和slave2也是相同,互相拷贝,也要给本机拷贝){配置三个节点}

拷贝时需要输入‘yes’,然后输入对应主机密码。

④:测试是否成功

 “ ssh 主机名 ”

5.安装java的jdk和hadoop环境(配置三台节点,因上面配置完成免密后即可拷贝至其他两个节点,注意在master节点上配置后拷贝至其他两个节点,而且在新建的用户下操作 )

①:建立存放安装包的文件夹apps

在根“ / ”目录下创建apps文件夹用来存放安装包

sudo mkdir /apps

②:修改文件夹权限为当前用户

sudo chown -R cwl02:cwl02 /apps

③:使用“  xftp工具  ”将jdk和hadoop的tar包上传至‘ /apps ’文件夹下

④:解压jdk和hadoop的tar包至" /opt "下

sudo tar -zxvf /存放文件夹/文件名  -C /解压文件夹/

⑤:修改两个文件的名字为java和hadoop

" cd /opt "查看文件夹

修改文件名:sudo mv hadoop-2.7.1  hadoop

⑥:查看时能看到文件是root权限,我们要将其改为当前的用户权限

sudo chown -R 当前用户:当前用户 /文件路径

⑦:拷贝两个文件至其他两个节点(slave1和slave2两个节点)

sudo scp -r /opt/java @salve1:/opt/

sudo scp -r /opt/hadoop @salve1:/opt/

⑦:修改两个节点的文件权限(配置三个节点,-R是递归修改意思是把目标文件夹下的所有文件修改为一个权限)

sudo chown -R cwl02:cwl02 /opt/  

6.配置环境变量

①:配置java和hadoop的环境变量(配置三个节点)

编辑profile文件在最下面添加环境变量 sudo vim /etc/profile ;

export JAVA_HOME=/opt/java
export HADOOP_HOME=/opt/hadoop
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

②:生成环境变量(让环境变量生效)

命令:source /etc/profile

③:测试环境变量

输入:java

是否出现标注的字体(出现则成功)

成功。

新手错误

环境变量没有成功:检查环境变量的编写是否出现错误;

 


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM