Java連接Hadoop

1、導入依賴

<dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-client</artifactId>
        <version>3.2.2</version>
</dependency>

 

2.代碼連接：

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import java.net.URI;

public class HdfsClient_1 {
    public static void main(String[] args) throws Exception{
        //1、連接的集群地址
        //訪問nameNode的端口，這里的 h01系統並不知道是多少，所以，需要在本地的host中增加映射
        URI uri = new URI("hdfs://h01:8020"); //端口就是 core-site.xml中的nameNode地址，並不都是8020
        //2、創建配置文件
        Configuration config = new Configuration();
        //指定用戶，為什么要指定用戶，因為hdfs中，文件是有所屬權限的，有Owner、Group
        String user = "root";
        //3、獲取到了客戶端對象
        FileSystem fileSystem = FileSystem.get(uri, config, user);
        fileSystem.mkdirs(new Path("/Beijing"));  //創建hdfs文件夾
        //4、關閉連接
        fileSystem.close();
    }
}

 

查看HDFS網頁結果：

 

從圖中可見，Beijing的文件夾已經創建完成，而從圖中也可看見，文件夾是有 Owner所屬人的，所以在代碼中需要指定用戶。