首先要說明的是運行Hadoop需要jdk1.6或以上版本,如果你還沒有搭建好Hadoop集群,請參考我的另一篇文章:
馬上進入正題。
1.啟動Hadoop集群,使用jps查看所有結點是否啟動成功;
2.進入hadoop的bin目錄,查看hadoop中的例程
運行./hadoop jar /opt/hadoop/hadoop-examples-*-.jar,紅框中的jar包根據你的hadoop版本而定;
3.試圖運行wordcount,./hadoop jar /opt/hadoop/hadoop-examples-1.0.4.jar wordcount
顯示出參數列表為:wordcount <in> <out>,所以我們要指定分布式文件的輸入、輸出目錄;
4.創建輸入目錄
在bin目錄下運行:./hadoop dfs -mkdir /home/hadoop/input (本地的mkdir可能不可用)
5.下載幾篇英文文章(txt最好),放入剛剛創建的輸入目錄
我使用的是window下的虛擬機,可以用xftp將本地文件上傳到Linux服務器,很方便。。
./hadoop dfs -put input/* /home/hadoop/input
(注:第一個目錄是你存放文章的本地目錄,*通配符,表示該目錄下的所有文檔,
第二個目錄是你的分布式文件系統的輸入目錄)
查看測試文件:./hadoop dfs -ls /home/hadoop/input
6.運行,每次運行前請先刪除輸出目錄,因為他是自動生成的;
或者每次都創建一個新的目錄,否則會運行失敗。
./hadoop jar ../hadoop-examples-1.0.4.jar wordcount /home/hadoop/input /home/hadoop/output
7.查看單詞統計結果,默認生成的文件part-r-00000
./hadoop dfs -cat /home/hadoop/output/part-r-00000
我選擇的是一篇經濟學論文,這個就是部分結果了。
開心!!!