Hadoop Local（本地）模式搭建

 

• 1. 下載壓縮包
• 2. 配置環境變量
• 3. 配置Hadoop的JAVA_HOME路徑
• 4. WordCount

 

1. 下載壓縮包

下載Hadoop binary二進制壓縮包 https://hadoop.apache.org/releases.html

上傳到Linux並解壓

2. 配置環境變量

提前先配置好java環境變量，編輯 vi /etc/profile

export HADOOP_HOME=/usr/soft/hadoop-2.7.2
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE HISTCONTROL

運行 source /etc/profile 使配置生效

3. 配置Hadoop的JAVA_HOME路徑

進入Hadoop解壓目錄，vi ./etc/hadoop/hadoop-env.sh
設置JAVA_HOME路徑

export JAVA_HOME=/usr/soft/jdk1.8.0_144

4. WordCount

單機版Hadoop環境已經搭建完成，運行一個統計單詞數量的Demo來了解一下Hadoop的運行機制

1. 復制一些xml文件

mkdir /usr/soft/input
cp ./hadoop/*.xml /usr/soft/input

2. 執行Hadoop命令

格式: hadoop jar <jar包> <類> <輸入文件夾> <輸出文件夾> <條件>

hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /usr/soft/input /usr/soft/output

注意，保證之前沒有這個output目錄,成功之后會產生2個文件

[root@localhost output]# ll
total 8
-rw-r--r--. 1 root root 5552 Jan  2 17:20 part-r-00000
-rw-r--r--. 1 root root    0 Jan  2 17:20 _SUCCESS

• part-r-00000 結果文件
• _SUCCESS 成功標志

3. 查看結果

[root@localhost output]# more part-r-00000 
"*"     17
"AS     6
--More--(1%)

4. 查看hdfs文件列表

hdfs dfs -ls /