Linux下配置hadoop环境配置
系统环境：centos7
jdk：jdk-8u291
hadoop：hadoop-3.3.0
http://archive.apache.org/dist/hadoop/core/
ssh：finalshell
一、jdk安装
cd 到跟目录下
cd /
新建文件安装目录
mkdir -p /export/server/
使用finalshell将jdk压缩包上传至/export/server/目录
切换到server目录
cd /export/server/
将压缩包解压到server下
tar -zxvf jdk-8u291-linux-x64.tar.gz
配置环境变量
vim /etc/profile
在文件最后面添加
export JAVA_HOME=/export/server/jdk1.8.0_291
export PATH=$PATH:$JAVA_HOME/bin
保存退出
重新加载配置文件
source /etc/profile
查看是否配置文件成功
java -version
出现以下信息说明配置成功
二、hadoop安装
1、设置ssh免密登录
ssh-keygen
按回车 生成公钥、私钥
将生成的密钥发送到本机地址
ssh-copy-id localhost
2、关闭禁用防火墙
关闭防火墙
systemctl stop firewalld.service
禁用防火墙
systemctl disable firewalld.service
查看当前状态(出现dead表示成功)
systemctl status firewalld.service
3、配置Hadoop
（1）配置core-site.xml文件
<property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> <!-- 设置Hadoop本地保存数据路径 --> <property> <name>hadoop.tmp.dir</name> <value>file:/export/server/hadoop-3.3.0/data/tmp</value> </property> <!-- 整合hive用户代理设置 --> <property> <name>hadoop.proxyuser.root.hosts</name> <value>*</value> </property> <property> <name>hadoop.proxyuser.root.groups</name> <value>*</value> </property>
（2）配置hdfs-site.xml文件
<!-- 设置hdfs中的namenode文件目录 --> <property> <name>dfs.namenode.name.dir</name> <value>/export/server/hadoop-3.3.0/data/dfs/name</value> <final>true</final> </property> <!-- 设置hdfs中的datanode文件目录 --> <property> <name>dfs.datanode.data.dir</name> <value>/export/server/hadoop-3.3.0/data/dfs/data</value> <final>true</final> </property> <!-- 设置数据块副本 --> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.permissions</name> <value>false</value> </property>
（3）配置hadoop-env.sh文件
export JAVA_HOME=/export/server/jdk1.8.0_291
export HDFS_NAMENODE_USER=root
export HDFS_DATENODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
（4）配置mapred-site.xml文件
<property>
<name>mapredure.frameword.name</name>
<value>yarn</value>
</property>
（5）配置yarn-site.xml 文件
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>192.168.200.138:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>192.168.200.138:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>192.168.200.138:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>192.168.200.138:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>192.168.200.138:8088</value>
</property>
（6）配置hadoop环境变量
vim /etc/profile
在文件最后面添加
export HADOOP_HOME=/export/server/hadoop-3.3.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
保存退出
重新加载配置文件
source /etc/profile
查看是否配置文件成功
hadoop
三、查看hadoop网页
Linux服务ip:8088
Linux服务ip:9870
