Linux下配置hadoop環境配置
系統環境：centos7
jdk：jdk-8u291
hadoop：hadoop-3.3.0
http://archive.apache.org/dist/hadoop/core/
ssh：finalshell
一、jdk安裝
cd 到跟目錄下
cd /
新建文件安裝目錄
mkdir -p /export/server/
使用finalshell將jdk壓縮包上傳至/export/server/目錄
切換到server目錄
cd /export/server/
將壓縮包解壓到server下
tar -zxvf jdk-8u291-linux-x64.tar.gz
配置環境變量
vim /etc/profile
在文件最后面添加
export JAVA_HOME=/export/server/jdk1.8.0_291
export PATH=$PATH:$JAVA_HOME/bin
保存退出
重新加載配置文件
source /etc/profile
查看是否配置文件成功
java -version
出現以下信息說明配置成功
二、hadoop安裝
1、設置ssh免密登錄
ssh-keygen
按回車 生成公鑰、私鑰
將生成的密鑰發送到本機地址
ssh-copy-id localhost
2、關閉禁用防火牆
關閉防火牆
systemctl stop firewalld.service
禁用防火牆
systemctl disable firewalld.service
查看當前狀態(出現dead表示成功)
systemctl status firewalld.service
3、配置Hadoop
（1）配置core-site.xml文件
<property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> <!-- 設置Hadoop本地保存數據路徑 --> <property> <name>hadoop.tmp.dir</name> <value>file:/export/server/hadoop-3.3.0/data/tmp</value> </property> <!-- 整合hive用戶代理設置 --> <property> <name>hadoop.proxyuser.root.hosts</name> <value>*</value> </property> <property> <name>hadoop.proxyuser.root.groups</name> <value>*</value> </property>
（2）配置hdfs-site.xml文件
<!-- 設置hdfs中的namenode文件目錄 --> <property> <name>dfs.namenode.name.dir</name> <value>/export/server/hadoop-3.3.0/data/dfs/name</value> <final>true</final> </property> <!-- 設置hdfs中的datanode文件目錄 --> <property> <name>dfs.datanode.data.dir</name> <value>/export/server/hadoop-3.3.0/data/dfs/data</value> <final>true</final> </property> <!-- 設置數據塊副本 --> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.permissions</name> <value>false</value> </property>
（3）配置hadoop-env.sh文件
export JAVA_HOME=/export/server/jdk1.8.0_291
export HDFS_NAMENODE_USER=root
export HDFS_DATENODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
（4）配置mapred-site.xml文件
<property>
<name>mapredure.frameword.name</name>
<value>yarn</value>
</property>
（5）配置yarn-site.xml 文件
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>192.168.200.138:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>192.168.200.138:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>192.168.200.138:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>192.168.200.138:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>192.168.200.138:8088</value>
</property>
（6）配置hadoop環境變量
vim /etc/profile
在文件最后面添加
export HADOOP_HOME=/export/server/hadoop-3.3.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
保存退出
重新加載配置文件
source /etc/profile
查看是否配置文件成功
hadoop
三、查看hadoop網頁
Linux服務ip:8088
Linux服務ip:9870
