Hadoop使用實例


1 詞頻統計

a.下載喜歡的電子書或大量文本數據,並保存在本地文本文件中

b.編寫map與reduce函數

mapper.py

reducer.py

c.本地測試map與reduce

d.將文本數據上傳至HDFS上

e.用hadoop streaming提交任務

f.查看運行結果

g.計算結果取回到本地

 

 

2.氣象數據分析

 a.批量下載氣象數據

 

b.編寫map與reduce函數

TempMapper.py

 

TempReducer.py

(行9末缺失一個冒號,補充后便能正常運行)

c.將氣象數據上傳至HDFS上

 

d.用hadoop streaming提交任務

 

e.查看運行結果

 

f.計算結果取回到本地


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM