Hadoop MapReduce 操作 統計詞頻


1、准備文件並設置編碼格式為UTF-8並上傳Linux

2、新建一個Java Project

3、導入jar

4、編寫Map()和Reduce()

5、將代碼輸出成jar

6、在linux中啟動hdfs

7、修改兩個配置文件

8、在linux中啟動yarn

9、運行mapReduce

10、查看運行結果

1、 准備文件並設置編碼格式為UTF-8並上傳Linux

1)設置編碼:首先打開文件點擊左上角 文件(F) 點擊另存為並將編碼(E)設置為UTF-8 然后保存(S)替換的原來的文件

2)用工具將文件上傳就Linux

3)將文件上傳至HDFS

2、 新建一個Java Project

JDK必須是1.7版本以后的否則不支持

3、 導入jar

導入好多jar包並Add to Build Path

4、 編寫Map()和Reduce()

5、將代碼輸出成jar

1) 將代碼輸出成jar

 

2) 將生成的jar上傳至Linux

6、在linux中啟動hdfs

1) 啟動hdfs

1) 將text文件上傳到HDFS

7、修改兩個配置文件

在<configuration>配置項中增加以下內容:

<configuration>

        <property>

                <name>mapreduce.framework.name</name>

                <value>yarn</value>

        </property>

</configuration>

 

在<configuration>配置項中增加以下內容:

(參數解釋:NodeManager上運行的附屬服務。需配置成mapreduce_shuffle,才可運MapReduce程序)

<configuration>

        <property>

                <name>yarn.nodemanager.aux-services</name>

                <value>mapreduce_shuffle</value>

        </property>

</configuration>

8、在linux中啟動yarn

9、運行mapReduce

10、查看運行結果

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM