Hadoop學習之路（八）在eclispe上搭建Hadoop開發環境

一、添加插件

將hadoop-eclipse-plugin-2.7.5.jar放入eclipse的plugins文件夾中

二、在Windows上安裝Hadoop2.7.5

版本最好與Linux集群中的hadoop版本保持一致

1、將hadoop-2.7.5-centos-6.7.tar.gz解壓到Windows上的C盤software目錄中

2、配置hadoop的環境變量

HADOOP_HOME=C:\software\hadoop-2.7.5

Path=C:\software\hadoop-2.7.5\bin

3、修改Hadoop安裝目錄C:\software\hadoop-2.7.5\etc\hadoop中hadoop-env.cmd

4、查看Hadoop版本

5、添加Windows支持文件

因為安裝的Hadoop編譯的版本是CentOS6.7的版本，在Windows上運行需要添加文件

1）winutils.exe 放在windows平台中你安裝的hadoop的bin目錄下

2)  hadoop.dll 放在windows操作系統的 c:/windows/system32目錄下

6、重新啟動eclipse

三、eclipse中的配置

1、重新啟動eclipse,打開windows->Preferences的Hadoop Map/Reduce中設置安裝目錄

2、打開Windows->Open Perspective中的Map/Reduce，在此perspective下進行hadoop程序開發

3、打開Windows->Show View中的Map/Reduce Locations，如下圖右鍵選擇New Hadoop location…新建hadoop連接。

4、配置相關信息

5、配置成功之后再右側顯示如下

四、創建HDFS項目

1、創建一個java project

2、添加jar包這里使用第二種

有三種方式可以往項目中添加jar依賴:

　　1）直接創建一個lib文件夾，然后放入對應的依賴包，最后add build path

　　　　優點：移植方便
　　　　缺點：項目臃腫

　　2）在eclipse中創建user libarary, 然后引入

　　　　優點：解決了不同項目中的相同jar的重復依賴問題， 不是直接放入，是引入的方式
　　　　缺點：移植不方便

　　3）最后直接使用maven管理jar依賴

　　　　完美解決方案：使用maven 我們在項目中只需要編寫好：pom.xml文件即可

目前只是操作HDFS，所以只需要引入common和HDFS相關的jar包即可。

Hadoop的common、hdfs、MapReduce、yarn的相關jar包的位置在安裝目錄的C:\software\hadoop-2.7.5\share\hadoop文件夾中，各自文件夾下的jar包是核心jar包，lib下的jar包是核心jar包的依賴jar包，都需要引入

hdfs的jar包用相同的方法引入

這樣項目就成功引入了common和hdfs相關的jar包

3、創建測試類

package cn.study.hdfs;

import java.net.URI;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class TestHdfsDemo1 {

    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        FileSystem fs = FileSystem.get(new URI("hdfs://hadoop1:9000"),conf,"hadoop");
        //System.out.println(fs instanceof DistributedFileSystem);//true
        
        fs.copyFromLocalFile(new Path("D:/abc.txt"), new Path("/a/"));
        fs.close();
    }

}

 

測試之前

測試之后