HDFS中JAVA API的使用

　　HDFS是一個分布式文件系統，既然是文件系統，就可以對其文件進行操作，比如說新建文件、刪除文件、讀取文件內容等操作。下面記錄一下使用JAVA API對HDFS中的文件進行操作的過程。

　　對分HDFS中的文件操作主要涉及一下幾個類：

　　Configuration類：該類的對象封轉了客戶端或者服務器的配置。

　　FileSystem類：該類的對象是一個文件系統對象，可以用該對象的一些方法來對文件進行操作。FileSystem fs = FileSystem.get(conf);通過FileSystem的靜態方法get獲得該對象。

　　FSDataInputStream和FSDataOutputStream：這兩個類是HDFS中的輸入輸出流。分別通過FileSystem的open方法和create方法獲得。

　　具體如何對文件操作清下下面例子：

package com.hdfs;

import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStream;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;

public class HdfsTest {
    
    //創建新文件
    public static void createFile(String dst , byte[] contents) throws IOException{
        Configuration conf = new Configuration();
        FileSystem fs = FileSystem.get(conf);
        Path dstPath = new Path(dst); //目標路徑
        //打開一個輸出流
        FSDataOutputStream outputStream = fs.create(dstPath);
        outputStream.write(contents);
        outputStream.close();
        fs.close();
        System.out.println("文件創建成功！");
    }
    
    //上傳本地文件
    public static void uploadFile(String src,String dst) throws IOException{
        Configuration conf = new Configuration();
        FileSystem fs = FileSystem.get(conf);
        Path srcPath = new Path(src); //原路徑
        Path dstPath = new Path(dst); //目標路徑
        //調用文件系統的文件復制函數,前面參數是指是否刪除原文件，true為刪除，默認為false
        fs.copyFromLocalFile(false,srcPath, dstPath);
        
        //打印文件路徑
        System.out.println("Upload to "+conf.get("fs.default.name"));
        System.out.println("------------list files------------"+"\n");
        FileStatus [] fileStatus = fs.listStatus(dstPath);
        for (FileStatus file : fileStatus) 
        {
            System.out.println(file.getPath());
        }
        fs.close();
    }
    
    //文件重命名
    public static void rename(String oldName,String newName) throws IOException{
        Configuration conf = new Configuration();
        FileSystem fs = FileSystem.get(conf);
        Path oldPath = new Path(oldName);
        Path newPath = new Path(newName);
        boolean isok = fs.rename(oldPath, newPath);
        if(isok){
            System.out.println("rename ok!");
        }else{
            System.out.println("rename failure");
        }
        fs.close();
    }
    //刪除文件
    public static void delete(String filePath) throws IOException{
        Configuration conf = new Configuration();
        FileSystem fs = FileSystem.get(conf);
        Path path = new Path(filePath);
        boolean isok = fs.deleteOnExit(path);
        if(isok){
            System.out.println("delete ok!");
        }else{
            System.out.println("delete failure");
        }
        fs.close();
    }
    
    //創建目錄
    public static void mkdir(String path) throws IOException{
        Configuration conf = new Configuration();
        FileSystem fs = FileSystem.get(conf);
        Path srcPath = new Path(path);
        boolean isok = fs.mkdirs(srcPath);
        if(isok){
            System.out.println("create dir ok!");
        }else{
            System.out.println("create dir failure");
        }
        fs.close();
    }
    
    //讀取文件的內容
    public static void readFile(String filePath) throws IOException{
        Configuration conf = new Configuration();
        FileSystem fs = FileSystem.get(conf);
        Path srcPath = new Path(filePath);
        InputStream in = null;
        try {
            in = fs.open(srcPath);
            IOUtils.copyBytes(in, System.out, 4096, false); //復制到標准輸出流
        } finally {
 IOUtils.closeStream(in); 102  } 103  } 104     
    
    public static void main(String[] args) throws IOException { 107         //測試上傳文件 108         //uploadFile("D:\\c.txt", "/user/hadoop/test/"); 109         //測試創建文件
        /*byte[] contents = "hello world 世界你好\n".getBytes(); 111  createFile("/user/hadoop/test1/d.txt",contents);*/
        //測試重命名 113         //rename("/user/hadoop/test/d.txt", "/user/hadoop/test/dd.txt"); 114         //測試刪除文件 115         //delete("test/dd.txt"); //使用相對路徑 116         //delete("test1"); //刪除目錄 117         //測試新建目錄 118         //mkdir("test1"); 119         //測試讀取文件
        readFile("test1/d.txt"); 121  } 122 
}