hadoop配置環境變量

hadoop安裝包解壓 

tar -xvf hadoop-2.7.7.tar.gz

解壓成功ll查看文件

配置環境變量

1.

vi  /home/wj/hadoop-2.7.7/etc/hadoop/hadoop-env.sh

修改export JAVA_HOME={$JAVA_HOME}

為 export  JAVA_HOME=/usr/java/jdk1.8.0_162/

2.

vi yarn-env.sh

找到#export JAVA_HOME=/home/y/libexec/jdk.1.6.0/

去掉#，改為

export JAVA_HOME=/usr/java/jdk1.8.0_162

3.

vi core-site.xml

<configuration>
　　<property>
　　　　<name>fs.defaultFS</name>
　　　　<value>hdfs://master:9000</value>
　　</property>
　　<property>
　　　　<name>hadoop.tmp.dir</name>
　　　　<value>/home/wj/hadoopdata</value>
　　</property>
</configuration>

4.

vi hdfs-site.xml

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

5. 

vi yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
　　<property>
　　　　<name>yarn.nodemanager.aux-services</name>
　　　　<value>mapreduce_shuffle</value> #洗牌，類似排序
　　</property>

 

　　<property>
　　　　<name>yarn.resourcemanager.address</name>
　　　　<value>master:18040</value>#主機端口

　　　</property>

 

　　<property>
　　　　<name>yarn.resourcemanager.scheduler.address</name>
　　　　<value>master:18030</value>#調度端口

　　</property>

 

　　<property>

　　　　<name>yarn.resourcemanager.resource-tracker.address</name>
　　　　<value>master:18025</value>#跟蹤端口

　　</property>

首次運行格式化

[wj@master hadoop]$ hdfs namenode -format

　　<property>
　　　　<name>yarn.resourcemanager.admin.address</name>
　　　　<value>master:18141</value>#管理操作端口

　　</property>

 

　　<property>
　　　　<name>yarn.resourcemanager.webapp.address</name>#監控頁面
　　　　<value>master:18088</value>

　　</property>

</configuration>

6.

復制 mapred-site-template.xml

cp etc/hadoop/mapred-site-template.xml etc/hadoop/mapred-site.xml

vi mapred-site.xml

<configuration>

　　<property>
　　　　<name>mapreduce.framework.name</name>
　　　　<value>yarn</value>
　　</property>
</configuration>

7.

wj@master ~]$ pwd
/home/wj
[wj@master ~]$ vi ~/.bash_profile  或者vi /etc/profile

#JAVA
export JAVA_HOME=/usr/java/jdk1.8.0_162
export PATH=$JAVA_HOME/bin:$PATH
#hadoop
export HADOOP_HOME=/home/wj/hadoop2.7.7
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

使配置生效
[wj@master ~]$ source .bash_profile  或者source /etc/profile