java-HDFS 利用 fileSystem API實現對文件的操作

我們可以通過hadoop中的fileSystem API進行文件的操作，在獲取Hadoop的fileSystem后就可以實現操作方法的封裝，現代碼及注釋如下：

HDFSfile.java
/************************************************************   
 Copyright (C), 1988-1999, Huawei Tech. Co., Ltd.   
 FileName: HDFSfile.java 
 Author: Light     
 Version : version1.0      
 Date: 2018/7/16
 Description:以通過hadoop中的fileSystem API進行文件的操作// 模塊描述         
 Version:         // 版本信息 
    實現了對hdfs文件的大部分操作
 Function List:     // 主要函數及其功能     
 1 創建目錄mkdir("/idea/");
 2.創建文件create("/idea/haha.txt");
 3.查看hdfs文件內容read("/idea/text.txt");
 4文件重命名moveFile("/idea/haha.txt","/idea/hello.txt");
 5.上傳文件putFile("G://text.txt","/idea/");
 6.下載文件getFile("/idea/abc.txt","G://");
 7.查詢目錄下的所有文件listStatus("/idea/");
 8.刪除文件deleteFile("/idea/hello.txt");
  History: 
   // 歷史修改記錄 
 <author>  <time>   <version >   <desc>       
 Light    18/7/16     1.0     build this moudle   
 ***********************************************************/
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import org.junit.After;
import org.junit.Before;
import org.junit.Test;

import java.io.*;

public class HDFSfile {
    Configuration conf;
    FileSystem filesystem;
    String DEFNAME="fs.defaultFS";
    String HDFSURL="hdfs://192.168.72.10:9000";
    @Before
    public void before() throws IOException {
        conf=new Configuration();
        conf.set(DEFNAME, HDFSURL);
        filesystem=FileSystem.get(conf);

    }

    /**
     * junit測試函數
     * @throws IOException
     */
    @Test
    public void Text() throws IOException {
        //創建目錄
        //mkdir("/idea/");

        //創建文件
        //create("/idea/haha.txt");

        //查看hdfs文件內容
        //read("/idea/text.txt");

        //文件重命名
        //moveFile("/idea/haha.txt","/idea/hello.txt");

        //上傳文件
        //putFile("G://text.txt","/idea/");

        //下載文件
        //getFile("/idea/abc.txt","G://");

        //查詢目錄下的所有文件
        //listStatus("/idea/");

        //刪除文件
        //deleteFile("/idea/hello.txt");
    }

    /**
     * 創建目錄
     * @param path 創建目錄的地址（例：/hadoop/）
     * @throws IOException
     */
    public void mkdir(String path) throws IOException {
        //創建hdfs目錄
        if(filesystem.exists(new Path(path)))
        {
            System.out.println("目錄已存在");
        }
        else
        {
            boolean result=filesystem.mkdirs(new Path(path));
            System.out.println(result);
        }

    }

    /**
     * 創建文件
     * @param path hdfs文件地址(例：/hadoop/abc.txt)
     * @throws IOException
     */
    public  void create(String path) throws IOException{
        //創建文件
        if(filesystem.exists(new Path(path)))
        {
            System.out.println("文件已存在");
        }
        else
        {
            FSDataOutputStream outputStream=  filesystem.create(new Path(path));
            System.out.println("文件創建成功");
        }
    }

    /**
     * 查看文件內容
     * @param dst hdfs文件地址（例:/hadoop/abc.txt）
     * @throws IOException
     */
    public void read(String dst) throws IOException {
        if(filesystem.exists(new Path(dst)))
        {
            FSDataInputStream inputstream=filesystem.open(new Path(dst));
            InputStreamReader isr=new InputStreamReader(inputstream);
            BufferedReader br=new BufferedReader(isr);
            String str=br.readLine();
            while(str!=null){
                System.out.println(str);
                str=br.readLine();
            }
            br.close();
            isr.close();
            inputstream.close();
        }
       else
        {
            System.out.println("文件不存在");
        }
    }

    /**
     * 將dst1重命名為dst2，也可以進行文件的移動
     * @param oldpath 舊名
     * @param newpath 新名
     */
    public void moveFile(String oldpath, String newpath) {
        Path path1 = new Path(oldpath);
        Path path2 = new Path(newpath);
        try {
            if (!filesystem.exists(path1)) {
                System.out.println(oldpath + " 文件不存在！");
                return;
            }
            if (filesystem.exists(path2)) {
                System.out.println(newpath + "已存在！");
                return;
            }
            // 將文件進行重命名，可以起到移動文件的作用
            filesystem.rename(path1, path2);
            System.out.println("文件已重命名！");
        } catch (IOException e) {
            e.printStackTrace();
        }
    }

    /**
     * 上傳文件到hdfs
     * @param local
     * @param dst
     */
    public void putFile(String local, String dst) {
        try {
            // 從本地將文件拷貝到HDFS中，如果目標文件已存在則進行覆蓋
            filesystem.copyFromLocalFile(new Path(local), new Path(dst));
            System.out.println("上傳成功！");
            // 關閉連接
        } catch (IOException e) {
            System.out.println("上傳失敗！");
            e.printStackTrace();
        }
    }

    /**
     * 下載文件到本地
     * @param dst
     * @param local
     */
    public void getFile(String dst, String local) {
        try {
            if (!filesystem.exists(new Path(dst))) {
                System.out.println("文件不存在！");
            } else {
                filesystem.copyToLocalFile(new Path(dst), new Path(local));
                System.out.println("下載成功！");
            }
        } catch (IOException e) {
            System.out.println("下載失敗！");
            e.printStackTrace();
        }
    }


    /**
     * 顯示目錄下所有文件
     * @param dst
     */
    public void listStatus(String dst) {
        try {
            if (!filesystem.exists(new Path(dst))) {
                System.out.println("目錄不存在！");
                return;
            }
            // 得到文件的狀態
            FileStatus[] status = filesystem.listStatus(new Path(dst));
            for (FileStatus s : status) {
                System.out.println(s.getPath().getName());
            }

        } catch (IllegalArgumentException | IOException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }
    }

    /**
     * 刪除hdfs中的文件
     * @param dst
     */
    public void deleteFile(String dst) {
        try {
            if (!filesystem.exists(new Path(dst))) {
                System.out.println("文件不存在！");
            } else {
                filesystem.delete(new Path(dst), true);
                System.out.println("刪除成功！");
            }
        } catch (IOException e) {
            System.out.println("刪除失敗！");
            e.printStackTrace();
        }
    }


    /**
     * 關閉filesyatem
     */
    @After
    public void destory()
    {
        try {
            filesystem.close();
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}