012 HDFS API 文件讀寫代碼演示

一：准備工作

1.新建class類

　　

 

2.開啟HDFS服務

　　

 

 

3.將配置文件拷貝進resources路徑

　　

　　方便了Configuration的讀取配置。

 

 

二：讀出HDFS文件系統中的文件到控制台

4.讀出在路徑中的文件，顯示在控制台上

　　

 

 

5.分別解析，獲取文件系統（兩種方式）

　　（方式一）

　　

　　（方式二）

　　

　　這種方式不需要復制配置文件進resources，但是這種被寫死了。

 

 

6.分別解析，寫入流

　　

 

 

7.優化readFile

　　

 

 三：把文件上傳到HDFS上，即為WriteFile

 　　

　　注意點：fileName="user/beifeng/wc.input"，加上wc.input

 

 

四：完整源代碼

package com.senior.hdfs;

import java.io.File;
import java.io.FileInputStream;
import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;

public class HDFSApp {

    public static FileSystem getFileSystem() throws Exception{
        Configuration configuration=new Configuration();
        FileSystem fileSystem=FileSystem.get(configuration);
        return fileSystem;
    }
    //read
    public static void read() throws Exception{
        FileSystem fileSystem=getFileSystem();
        String fileName="/user/beifeng/mapreduce/wordcount/input/wc.input";
        Path path=new Path(fileName);
        FSDataInputStream inStream=fileSystem.open(path);
        try{
            IOUtils.copyBytes(inStream, System.out, 4096, false);
        }catch(Exception e){
            e.printStackTrace();
        }
        
    }
    //write
    public static void write() throws Exception{
        FileSystem fileSystem=getFileSystem();
        //output fileName
        String outputFileName="/opt/datas/wc.input";
        //input fileName
        String inputFileNmae="/user/beifeng/mapreduce/wordcount/input2/wc.input";
        Path path=new Path(inputFileNmae);
        FSDataOutputStream outStream=fileSystem.create(path);
        FileInputStream inStream=new FileInputStream(new File(outputFileName));
        try{
            IOUtils.copyBytes(inStream, outStream, 4096, false);
        }catch(Exception e){
            e.printStackTrace();
        }finally{
            IOUtils.closeStream(inStream);
            IOUtils.closeStream(outStream);
        }
        
    }
    public static void main(String[] args) throws Exception {
//        read();
        write();

    }

}