IDEA項目遠程調試hadoop入門（maven項目）

1、創建項目：File-->new-->Project；

2、選擇maven，SDK選擇自己的Java安裝路徑；

3、這個隨意了，寫個比較有意義的就行，然后就按照圖片操作。

4、上圖點擊finish后，出現下面的pom.xml，這個就是后續需要mvn依賴的地方。

5、我的hadoop版本是：CDH的2.6.0-cdh5.5.0，所以在mvn下對應的版本，將內容復制出來粘貼進pom.xml；

這個需要特別注意，不同的版本這個也是不同的；

 6、點擊出現的import，下圖是點擊前后點擊后lib中差異，如果導入成功的話就如下圖第二個。

 7、最后將hadoop集群中core-site.xml配置文件復制到項目的resource下；

 

8、最后建包，建類；

 

9、最后，上代碼；

package hdfs;

import org.apache.commons.lang.StringUtils;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;

import java.io.*;
import java.net.URI;

public class up2hdfs {


    private static String HDFSUri = "hdfs://IP+:+端口號";

    /**
     * 1、獲取文件系統
     *
     * @retrun FileSystem 文件系統
     */

    public static FileSystem getFileSystem(){

        //讀取配置文件
        Configuration conf = new Configuration();

        //文件系統
        FileSystem fs = null;
        String hdfsUri = HDFSUri;
        if (StringUtils.isBlank(hdfsUri)){
            //返回默認文件系統，如果在hadoop集群下運行，使用此種方法可直接獲取默認文件系統；
            try{
                fs = FileSystem.get(conf);
            }catch(IOException e){
                e.printStackTrace();
            }
        }else{
            //返回指定的文件系統，如果在本地測試，需要此種方法獲取文件系統；
            try{
                URI uri = new URI(hdfsUri.trim());
                fs = FileSystem.get(uri,conf);
            } catch (Exception e) {
                e.printStackTrace();
            }
        }
        return fs ;
    }


    /**
     * 2、創建文件目錄
     * @param path 文件路徑
     */
    public static void mkdir(String path){

        try {
            FileSystem fs = getFileSystem();
            System.out.println("FilePath"+path);
            //創建目錄
            fs.mkdirs(new Path(path));
            //釋放資源
            fs.close();
        } catch (IOException e) {
            e.printStackTrace();
        }
    }

    /**
     * 3、判斷目錄是否存在
     *
     * @param filePath 目錄路徑
     * @param create 若不存在是否創建
     *
     */
    public static boolean existDir(String filePath,boolean create){

        boolean flag = false;

        if (StringUtils.isNotEmpty(filePath)){
            return flag;
        }

        try{
            Path path = new Path(filePath);
            //FileSystem對象
            FileSystem fs = getFileSystem();
            if (create){
                if (!fs.exists(path)){
                    fs.mkdirs(path);
                }
            }

            if (fs.isDirectory(path)){
                flag = true;
            }

        }catch (Exception e){
            e.printStackTrace();

        }

        return flag;

    }

    /**
     * 4、本地文件上傳至HDFS
     *
     * @param srcFile 源文件路徑
     * @param destPath 目的文件路徑
     */

    public static void copyFileToHDFS(String srcFile,String destPath) throws Exception{

        FileInputStream fis = new FileInputStream(new File(srcFile));//讀取本地文件
        Configuration config = new Configuration();
        FileSystem fs = FileSystem.get(URI.create(HDFSUri+destPath),config);
        OutputStream os = fs.create(new Path(destPath));
        //cpoy
        IOUtils.copyBytes(fis,os,4096,true);

        System.out.println("copy 完成 ......");
        fs.close();
    }

    /**
     * 5、從HDFS下載文件到本地
     *
     * @param srcFile 源文件路徑
     * @param destPath 目的文件路徑
     *
     */
    public static void getFile(String srcFile,String destPath)throws Exception{

        //HDFS文件地址
        String file = HDFSUri+srcFile;
        Configuration config = new Configuration();
        //構建filesystem
        FileSystem fs = FileSystem.get(URI.create(file),config);
        //讀取文件
        InputStream is = fs.open(new Path(file));
        IOUtils.copyBytes(is,new FileOutputStream(new File(destPath)),2048,true);
        System.out.println("下載完成......");
        fs.close();
    }

    /**
     * 6、刪除文件或者文件目錄
     *
     * @param path
     */
    public static void rmdir(String path){

        try {
            //返回FileSystem對象
            FileSystem fs = getFileSystem();

            String hdfsUri = HDFSUri;
            if (StringUtils.isNotBlank(hdfsUri)){

                path = hdfsUri+path;
            }
            System.out.println("path"+path);
            //刪除文件或者文件目錄 delete(Path f)此方法已經棄用
            System.out.println(fs.delete(new Path(path),true));

            fs.close();
        } catch (Exception e) {
            e.printStackTrace();
        }

    }

    /**
     * 7、讀取文件的內容
     *
     * @param filePath
     * @throws IOException
     */
    public static void readFile(String filePath)throws IOException{

        Configuration config = new Configuration();
        String file = HDFSUri+filePath;
        FileSystem fs = FileSystem.get(URI.create(file),config);
        //讀取文件
        InputStream is =fs.open(new Path(file));
        //讀取文件
        IOUtils.copyBytes(is, System.out, 2048, false); //復制到標准輸出流
        fs.close();
    }


    /**
     * 主方法測試
     */
    public static void main(String[] args) throws Exception {200         //連接fs
        FileSystem fs = getFileSystem();
        System.out.println(fs.getUsed());
        //創建路徑
        mkdir("/dit2");
        //驗證是否存在
        System.out.println(existDir("/dit2",false));
        //上傳文件到HDFS
        copyFileToHDFS("G:\\testFile\\HDFSTest.txt","/dit/HDFSTest.txt");
        //下載文件到本地
        getFile("/dit/HDFSTest.txt","G:\\HDFSTest.txt");
        // getFile(HDFSFile,localFile);
        //刪除文件
        rmdir("/dit2");
        //讀取文件
        readFile("/dit/HDFSTest.txt");
    }

}

 以上代碼，來自網絡，忘記出處，如有侵權，立即刪！