1 詞頻統計
a.下載喜歡的電子書或大量文本數據,並保存在本地文本文件中
b.編寫map與reduce函數
mapper.py
reducer.py
c.本地測試map與reduce
d.將文本數據上傳至HDFS上
e.用hadoop streaming提交任務
f.查看運行結果
g.計算結果取回到本地
2.氣象數據分析
a.批量下載氣象數據
b.編寫map與reduce函數
TempMapper.py
TempReducer.py
(行9末缺失一個冒號,補充后便能正常運行)
c.將氣象數據上傳至HDFS上
d.用hadoop streaming提交任務
e.查看運行結果
f.計算結果取回到本地