eclipse 搭建hadoop開發環境,並連接虛擬機hadoop-2.5.2,運行wordcount

准備工作

1.下載hadoop2.5.2.tar.gz

2.下載hadoop-eclipse-plugin-2.5.2.jar插件。如果你的hadoop不是這個版本的，請自己動手編譯插件，教程戳這

3.下載winutils.exe以及hadoop.dll （64位）

---

一、解壓安裝hadoop2.5.2.tar.gz，並配置相關文件。

具體我就不說了，可以戳這看教程。【教你Windows平台安裝配置Hadoop2.5.2(不借助cygwin)】

　　安裝好hadoop后，配置環境變量HADOOP_HOME和path：

1. 計算機 –>屬性 –>高級系統設置 –>高級選項卡 –>環境變量 –> 單擊新建HADOOP_HOME（ 注意：路徑到bin的上級目錄即可。）
2. Path環境變量下配置【%HADOOP_HOME%\bin;】變量
3. 下載winutils.exe以及hadoop.dll並解壓放在$Hadoop_HOME/bin目錄下

二、安裝插件

1. 將hadoop-eclipse-plugin-2.5.2.jar，復制到eclipse安裝目錄下的plugins下。如：Z:\01eclipse最新版\eclipse\plugins

2. 重啟Eclipse。

3. 點擊菜單欄Windows–>Preferences ，如果插件安裝成功，就會出現如下圖
   【如果插件安裝不成功，可能是因為plugin版本的問題，或者是Eclipse未刷新插件，可以自行百度解決。】
   

4. 選擇，hadoop安裝目錄，如：Z:\hadoop-2.5.2

5. 點擊Windows–> Show View –> Others –> Map/Redure Location 。 然后點擊右上角Map/Redure切換視圖。
   

6. 點擊下方Map/Redure Locations 窗口，空白處右鍵New Hadoop location
   

7. 填寫參數，連接參數
   

    

連接成功后，如圖所示。

 

三、編寫測試類，依舊是WordCount.java

1. 創建Map/Redure Project，右鍵 –> New –> Other –> Map/Redure Project 。
   

WordCount.java

package test; import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.Reducer; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.input.TextInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat; /** * Hadoop - 統計文件單詞出現頻次 * @author antgan * */ public class WordCount { public static class WordCountMap extends Mapper<LongWritable, Text, Text, IntWritable> { private final IntWritable one = new IntWritable(1); private Text word = new Text(); public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { String line = value.toString(); StringTokenizer token = new StringTokenizer(line); while (token.hasMoreTokens()) { word.set(token.nextToken()); context.write(word, one); } } } public static class WordCountReduce extends Reducer<Text, IntWritable, Text, IntWritable> { public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException { int sum = 0; for (IntWritable val : values) { sum += val.get(); } context.write(key, new IntWritable(sum)); } } public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); Job job = new Job(conf); job.setJarByClass(WordCount.class); job.setJobName("wordcount"); job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); job.setMapperClass(WordCountMap.class); job.setReducerClass(WordCountReduce.class); job.setInputFormatClass(TextInputFormat.class); job.setOutputFormatClass(TextOutputFormat.class); FileInputFormat.addInputPath(job, new Path(args[0])); FileOutputFormat.setOutputPath(job, new Path(args[1])); job.waitForCompletion(true); } }

1. 點擊WordCount類，右鍵Run As –> Run Configurations ，點擊Arguments，填寫輸入目錄，輸出目錄參數。
   

    

2. 運行。Run，刷新Reflash，輸出結果如下圖。
   

    

---

大功告成

在eclipse中運行wordcount運行報錯

java.net.UnknownHostException: master

1：如果你報這個錯誤，第一反應應該是本地的host文件沒有配置服務器名稱和對應的ip地址，這個反應就對了。

windows下開發大數據相關的應用程序，HBase部署在linux環境中，在運行調試時可能會出現無法找到主機，類似異常信息如上所貼：
解決辦法如下：
　　　　在C:\WINDOWS\system32\drivers\etc\hosts文件末尾添加如下信息：

192.168.199.130 master
192.168.199.131 slaver1
192.168.199.132 slaver2
192.168.199.133 slaver3
192.168.199.134 slaver4
192.168.199.135 slaver5
192.168.199.136 slaver6