Hadoop入門實例——WordCount統計單詞


首先要說明的是運行Hadoop需要jdk1.6或以上版本,如果你還沒有搭建好Hadoop集群,請參考我的另一篇文章:

Linux環境搭建Hadoop偽分布模式

馬上進入正題。

1.啟動Hadoop集群,使用jps查看所有結點是否啟動成功;


2.進入hadoop的bin目錄,查看hadoop中的例程

運行./hadoop jar /opt/hadoop/hadoop-examples-*-.jar,紅框中的jar包根據你的hadoop版本而定;



3.試圖運行wordcount,./hadoop jar /opt/hadoop/hadoop-examples-1.0.4.jar wordcount


顯示出參數列表為:wordcount <in> <out>,所以我們要指定分布式文件的輸入、輸出目錄;


4.創建輸入目錄

在bin目錄下運行:./hadoop dfs -mkdir /home/hadoop/input (本地的mkdir可能不可用)


5.下載幾篇英文文章(txt最好),放入剛剛創建的輸入目錄

我使用的是window下的虛擬機,可以用xftp將本地文件上傳到Linux服務器,很方便。。

./hadoop dfs -put input/* /home/hadoop/input

(注:第一個目錄是你存放文章的本地目錄,*通配符,表示該目錄下的所有文檔,

第二個目錄是你的分布式文件系統的輸入目錄)

查看測試文件:./hadoop dfs -ls /home/hadoop/input 



6.運行,每次運行前請先刪除輸出目錄,因為他是自動生成的;

或者每次都創建一個新的目錄,否則會運行失敗。

./hadoop jar ../hadoop-examples-1.0.4.jar wordcount /home/hadoop/input /home/hadoop/output



7.查看單詞統計結果,默認生成的文件part-r-00000

./hadoop dfs -cat /home/hadoop/output/part-r-00000


我選擇的是一篇經濟學論文,這個就是部分結果了。

開心!!!

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM