使用Java API之下載HDFS文件至本地（解決）

問題描述：

（1）運行copyToLocalFile文件下載，win10電腦出現空指針報錯，文件可以下載下來，但是內容是空的

解決措施：

方法一：（不建議使用）

（1）這是一種暫時性回避錯誤方法，有些文件（特指使用java新建的文本）下載后打開是亂碼。

將：fileSystem.copyToLocalFile(src,dst);

改為：fileSystem.copyToLocalFile(false,src,dst,true);

方法二：

（2）配置環境變量

文件打開后依舊亂碼（特指使用java新建的文本），而通過命令行上傳的文件不是亂碼（未解決）

下載對應版本的winutils.exe、hadoop.dll

我的hadoop版本是：hadoop-2.6.0-cdh5.15.1

我的winutils.exe、hadoop.dll下載的版本是：2.7.6

將下載好的bin文件夾（包含winutils.exe、hadoop.dll）放入G:\BaiduNetdiskDownload\hadoop2.7.6

設置環境變量：

　　用戶變量：

　　　　變量名：HADOOP_HOME

　　　　變量值：G:\BaiduNetdiskDownload\hadoop2.7.6

　　系統變量：

　　　　變量名：Path

　　　　變量值：%HADOOP_HOME%\bin;

將hadoop.dll放進C:\Windows\System32中

重新啟動電腦。 

 

package com.imooc.bigdata.hadoop.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.util.Progress;
import org.apache.hadoop.util.Progressable;
import org.junit.After;
import org.junit.Before;
import org.junit.Test;

import java.io.BufferedInputStream;
import java.io.File;
import java.io.FileInputStream;
import java.io.InputStream;
import java.net.URI;

/**
 * 使用Java API操作HDFS文件系統
 *
 * 因為是放在test下面，所以最好使用單元測試的方式
 * 在pom中引入的jUnit單元測試的方式
 * 單元測試有兩個方法：（1）在單元測試之前進行；（2）在單元測試之后進行
 *
 * 關鍵點：
 * 1）創建Configuration
 * 2)獲取FileSystem
 * 3)剩下的是HDFS API的操作
 */

public class HDFSApp {


    public static final String HDFS_PATH = "hdfs://hadoop000:8020";
    //Configuration、FileSystem是每一個方法使用之前必須構建的
    Configuration configuration = null;
    FileSystem fileSystem = null;

    @Before
    public void setup() throws Exception{
        System.out.println("-----setup-----");
        configuration = new Configuration();
        configuration.set("dfs.replication", "1");
        /*
         *構造一個訪問指定HDFS系統的客戶端對象
         * 第一個參數：HDFS的URI
         * 第二個參數：客戶端指定的配置參數
         * 第三個參數：客戶的用戶名
         */
        fileSystem = FileSystem.get(new URI("hdfs://hadoop000:8020"), configuration, "hadoop");
    }

    /*
     * 拷貝HDFS文件系統 至 本地主機文件
     */
    @Test
    public void copyToLocalFile() throws Exception{
        Path src = new Path("/hdfsApi/test/hello.txt");
        Path dst = new Path("G:/BaiduNetdiskDownload");
        fileSystem.copyToLocalFile(false, src, dst, true);
    }


    @After
    public void tearDown(){
        System.out.println("-----tearDown-----");

        //置空
        configuration = null;
        fileSystem = null;
    }
}