Hadoop集群測試wordcount程序


一.集群環境搭好了,我們來測試一下吧

  1.在java下創建一個wordcount文件夾:mkdir wordcount

  2.在此文件夾下創建兩個文件,比如file1.txt和file2.txt

在file1.txt中寫入:

Hello java

Hello world

在file2.txt中寫入:

Hello hadoop

Hello wordcount

  3.在HDFS中創建一個input文件夾

hadoop fs mkdir /input

hadoop fs -ls /

  4.把剛剛寫好的兩個文件夾上傳到HDFS中input文件夾

 hadoop fs -put ./*.txt /input/

hadoop fs -ls /input/

 

  5.運行wordcount程序

去/usr/java/hadoop-2.8.5/share/hadoop/mapreduce文件下運行hadoop-mapreduce-examples-2.8.5.jar

命令:hadoop jar hadoop-mapreduce-examples-2.8.5.jar wordcount /input/ /output/

注:output文件夾是不存在的,使用上述命令后自動創建的。如果此文件夾存在會報錯

  6.之后查看此文件夾

hadoop fs -cat /output/*

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM