3.Hadoop集群測試


大家如果還沒配置過Hadoop的可以看我前兩篇文章。

 

驗證Hadoop分布式集群

首先在hdfs文件系統上創建兩個目錄,創建過程如下所示:

hadoop fs –mkdir /data/wordconut

hadoop fs –mkdir /output

wps8E94.tmp

hdfs中的/data/wordcount用來存放Hadoop自帶的WordCount例子的數據文件,程序運行的結果輸出到/output/wordcount目錄中,透過Web控制(http://master:50070)可以發現我們成功創建了兩個文件夾:

wps8EA5.tmp

接下來將本地文件的數據上傳到HDFS文件夾中:

wps8EA6.tmp

透過Web控制可以發現我們成功上傳了文件:

wps8EB7.tmp

也可通過hadoop的hdfs命令在控制命令終端查看信息:

hadoop fs –ls /data/wordcount

wps8EC7.tmp

運行Hadoop自帶的WordCount例子,執行如下命令:

hadoop jar ../share/hadoop/mapreduce/hadoop-mapreduce-xeamples-2.2.0.jar wordcount /data/wordcount /output/wordcount

(即hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.2.0-sources.jar org.apache.hadoop.examples.WordCount /input /output)

wps8EC8.tmp

運行過程如下:

wps8EC9.tmp

wps8EDA.tmp

接下來使用“mr-jobhistory-daemon.sh”來啟動JobHistory Server:

./mr-jobhistory-daemon.sh start historyserver

wps8EDB.tmp

啟動后可以通過http://master:19888 在Web控制台上看到JobHistory中的任務執行歷史信息:

wps8EEB.tmp

點擊最近運行的WordCount作業進入歷史作業詳情

結束historyserver的命令如下所示:

./mr-jobhistory-daemon.sh stop historyserver

wps8EEC.tmp

程序運行結束后我們可以執行一下命令查看運行結果:

wps8EED.tmp

也可通過HDFS控制台查看運行結果:

wps8EEE.tmp

wps8EFF.tmp

發現我們成功運行了WordCount作業。

至此,我們成功構建了Hadoop分布式集群並完成了測試!


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM