一.集群環境搭好了,我們來測試一下吧
1.在java下創建一個wordcount文件夾:mkdir wordcount
2.在此文件夾下創建兩個文件,比如file1.txt和file2.txt
在file1.txt中寫入:
Hello java
Hello world
在file2.txt中寫入:
Hello hadoop
Hello wordcount
3.在HDFS中創建一個input文件夾
hadoop fs mkdir /input
hadoop fs -ls /
4.把剛剛寫好的兩個文件夾上傳到HDFS中input文件夾
hadoop fs -put ./*.txt /input/
hadoop fs -ls /input/
5.運行wordcount程序
去/usr/java/hadoop-2.8.5/share/hadoop/mapreduce文件下運行hadoop-mapreduce-examples-2.8.5.jar
命令:hadoop jar hadoop-mapreduce-examples-2.8.5.jar wordcount /input/ /output/
注:output文件夾是不存在的,使用上述命令后自動創建的。如果此文件夾存在會報錯
6.之后查看此文件夾
hadoop fs -cat /output/*