Hadoop基礎-HDFS遞歸列出文件系統-FileStatus與listFiles兩種方法

　　　　　　　　　　　　Hadoop基礎-HDFS遞歸列出文件系統-FileStatus與listFiles兩種方法

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　作者：尹正傑

版權聲明：原創作品，謝絕轉載！否則將追究法律責任。

 

　　fs.listFiles方法，返回LocatedFileStatus的迭代器，自帶遞歸。但是它是繼承於FileStatus的，而且構建函數是FileStatus的文件版，即LocaledFileStatus只能列出文件。接下來我我們一起看看這兩個方法的用法。

 

 

一.listStatus方法

/*
@author :yinzhengjie
Blog:http://www.cnblogs.com/yinzhengjie/tag/Hadoop%E8%BF%9B%E9%98%B6%E4%B9%8B%E8%B7%AF/
EMAIL:[e-mail]
*/
package cn.org.yinzhengjie.day01.note1;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;

import java.io.FileOutputStream;
import java.io.IOException;

public class HdfsDemo2 {
    public static void main(String[] args) throws IOException {
        list();
        System.out.println("======  我是分割線  ========");
        tree("/shell");
    }

    //查看指定路徑的樹形結構，類似於Linux的tree命令。
    private static void tree(String srcPath) throws IOException {
        //由於我的Hadoop完全分布式根目錄對yinzhengjie以外的用戶(盡管是root用戶也沒有寫入權限喲！因為是hdfs系統，並非Linux系統！)沒有寫入
        // 權限，所以需要手動指定當前用戶權限。使用“HADOOP_USER_NAME”屬性就可以輕松搞定！
        System.setProperty("HADOOP_USER_NAME","yinzhengjie");
        //實例化一個Configuration，它會自動去加載本地的core-site.xml配置文件的fs.defaultFS屬性。(該文件放在項目的resources目錄即可。)
        Configuration conf = new Configuration();
        //代碼的入口點，初始化HDFS文件系統，此時我們需要把讀取到的fs.defaultFS屬性傳給fs對象。
        FileSystem fs = FileSystem.get(conf);
        //這個path是指是需要在文件系統中寫入的數據,里面的字符串可以寫出“hdfs://s101:8020/shell”，但由於core-site.xml配置
        // 文件中已經有“hdfs://s101:8020”字樣的前綴，因此我們這里可以直接寫相對路徑即可
        Path path = new Path(srcPath);
        //通過fs的listStatus方法獲取一個指定path的所有文件信息(status)，因此我們需要傳入一個hdfs的路徑，返回的是一個filStatus數組
        FileStatus[] fileStatuses = fs.listStatus(path);
        for (FileStatus fileStatus : fileStatuses) {
            //判斷當前迭代對象是否是目錄
            if (fileStatus.isDirectory()){
                String dirPath = fileStatus.getPath().toString();
                System.out.println("文件夾名:" + fileStatus.getPath());
                tree(dirPath);
            }else {
                System.out.println("文件名:" + fileStatus.getPath());
            }
        }


    }

    //查看指定路徑下的所有文件
    private static void list() throws IOException {
        //由於我的Hadoop完全分布式根目錄對yinzhengjie以外的用戶(盡管是root用戶也沒有寫入權限喲！因為是hdfs系統，並非Linux系統！)沒有寫入
        // 權限，所以需要手動指定當前用戶權限。使用“HADOOP_USER_NAME”屬性就可以輕松搞定！
        System.setProperty("HADOOP_USER_NAME","yinzhengjie");
        //實例化一個Configuration，它會自動去加載本地的core-site.xml配置文件的fs.defaultFS屬性。(該文件放在項目的resources目錄即可。)
        Configuration conf = new Configuration();
        //代碼的入口點，初始化HDFS文件系統，此時我們需要把讀取到的fs.defaultFS屬性傳給fs對象。
        FileSystem fs = FileSystem.get(conf);
        //這個path是指是需要在文件系統中寫入的數據,里面的字符串可以寫出“hdfs://s101:8020/shell”，但由於core-site.xml配置
        // 文件中已經有“hdfs://s101:8020”字樣的前綴，因此我們這里可以直接寫相對路徑即可
        Path path = new Path("/shell");
        //通過fs的listStatus方法獲取一個指定path的所有文件信息(status)，因此我們需要傳入一個hdfs的路徑，返回的是一個filStatus數組
        FileStatus[] fileStatuses = fs.listStatus(path);
        for (FileStatus fileStatus : fileStatuses) {
            //判斷當前迭代對象是否是目錄
            boolean isDir = fileStatus.isDirectory();
            //獲取當前文件的絕對路徑
            String fullPath = fileStatus.getPath().toString();
            System.out.println("isDir:" + isDir + ",Path:" + fullPath);
        }
    }
}

/*
以上代碼執行結果如下：
isDir:true,Path:hdfs://s101:8020/shell/awk
isDir:true,Path:hdfs://s101:8020/shell/grep
isDir:true,Path:hdfs://s101:8020/shell/sed
isDir:false,Path:hdfs://s101:8020/shell/yinzhengjie.sh
======  我是分割線  ========
文件夾名:hdfs://s101:8020/shell/awk
文件名:hdfs://s101:8020/shell/awk/keepalive.sh
文件名:hdfs://s101:8020/shell/awk/nginx.conf
文件夾名:hdfs://s101:8020/shell/grep
文件名:hdfs://s101:8020/shell/grep/1.txt
文件名:hdfs://s101:8020/shell/grep/2.txt
文件夾名:hdfs://s101:8020/shell/sed
文件名:hdfs://s101:8020/shell/sed/nagios.sh
文件名:hdfs://s101:8020/shell/sed/zabbix.sql
文件名:hdfs://s101:8020/shell/yinzhengjie.sh
 */

 

二.listFiles方法

/*
@author :yinzhengjie
Blog:http://www.cnblogs.com/yinzhengjie/tag/Hadoop%E8%BF%9B%E9%98%B6%E4%B9%8B%E8%B7%AF/
EMAIL:[e-mail]
*/
package cn.org.yinzhengjie.day01.note1;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import org.apache.hadoop.io.IOUtils;

import java.io.FileOutputStream;
import java.io.IOException;

public class HdfsDemo3 {
    public static void main(String[] args) throws IOException {
        autoList("/shell");
    }

    //定義方法下載文件到本地
    private static void autoList(String path) throws IOException {
        //實例化一個Configuration，它會自動去加載本地的core-site.xml配置文件的fs.defaultFS屬性。(該文件放在項目的resources目錄即可。)
        Configuration conf = new Configuration();
        //代碼的入口點，初始化HDFS文件系統，此時我們需要把讀取到的fs.defaultFS屬性傳給fs對象。
        FileSystem fs = FileSystem.get(conf);
        //通過fs的listFiles方法可以自動實現遞歸(自帶遞歸)列出文件類型，返回的是一個遠程可迭代對象,需要傳入兩個參數，第一個參數是服務器路徑，第二個參數是否遞歸
        RemoteIterator<LocatedFileStatus> iterator = fs.listFiles(new Path(path), true);
        while (iterator.hasNext()){
            LocatedFileStatus fileStatus = iterator.next();
            Path fullPath = fileStatus.getPath();
            System.out.println(fullPath);
        }
    }
}

/*
以上代碼執行結果如下：
hdfs://s101:8020/shell/awk/keepalive.sh
hdfs://s101:8020/shell/awk/nginx.conf
hdfs://s101:8020/shell/grep/1.txt
hdfs://s101:8020/shell/grep/2.txt
hdfs://s101:8020/shell/sed/nagios.sh
hdfs://s101:8020/shell/sed/zabbix.sql
hdfs://s101:8020/shell/yinzhengjie.sh
 */