搭建Hadoop2.0(三)自帶實例運行


1. 運行wordcount[7]

       Wordcount相當於helloword這樣的程序,不必多說。在平台正常啟動的情況下,建立input的文件夾和兩個文件test1,test2,充填大量的“hello world”和“hello hadoop”。將input上傳到hdfs上,命令為haoop fs –put /usr/lib/hadoop2.0.0-alpha/input/* input。然后在/share/hadoop/mapreduce下執行hadoop jar hadoop-mapreduce-examples-2.0.0-alpha.jar wordcount input output,等待運行,完畢后將output下載hadoop fs –get output,然后查看運行結果cat output/*。

 

2. 運行randomwriter

       RandomWriter(隨機寫)例子利用 Map/Reduce把數據隨機的寫到dfs中。在由於沒有設置,程序直接把空間寫滿了才停下來。導致虛擬機慢的要死,終於死機了一次。下面是產生的文件列表:

3. 瀏覽器實時監視

Hadoop2.0的監視功能十分強大,不僅能夠實時觀測到節點的狀態,而且在應用提交后,就可以監測到應用執行的實時動態。對各部分產生的日志也可以方便地查閱,界面也算漂亮,下面是一個截圖,第一個任務失敗的原因是文件的目錄沒寫正確,第二第三個運行成功。

 

小結:

由於在運行過程中還有很多錯誤提示,這兩個實例只是證明這個平台勉強可以運行了。

 

總結:

       從6月25號到今天7月17號共三周多的努力,基本上完成了這個平台的搭建。有一些收獲:

  1. 熟悉了linux操作系統
  2. 初步了解了hadoop的工作原理
  3. 摸索了一些發現問題和解決問題的方法

  這些收獲寫在這里,才發現我的入門過程還很久遠,補課這個事情的確是很愁人的,既然走出第一步,剩下的就是堅持。下一步的工作是在平台上進行開發,這個難度比較大,可能會在hadoop原理的深入學習和Java編程的學習上花費大量的時間和精力。

 

參考文獻:

[1]     http://dongxicheng.org/mapreduce-nextgen/apache-hadoop-2-0-alpha

[2]     http://blog.sina.com.cn/s/blog_59d2b1db0100ra6h.html

[3]     http://www.cnblogs.com/tangtianfly/archive/2012/04/11/2441760.html

[4]     http://hadoop.apache.org/common/docs/r2.0.0-alpha/

[5]     http://blog.csdn.net/shenshouer/article/details/7613234

[6]     http://www.linkedin.com/groups/Please-Help-Me-This-ERRORorgapachehadoophdfsservernamenodeNameNode-988957.S.115830635?qid=58283adf-47dc-43ba-879b-0612f3eb7cd7&trk=group_most_popular_guest-0-b-cmr&goback=.gmp_988957

[7]     http://www.cnblogs.com/xia520pi/archive/2012/05/16/2504205.html

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM