windows下使用idea遠程鏈接Hadoop(Linux)

windows下使用idea遠程鏈接Hadoop
一.配置環境
二.Idea中創建Maven項目,導入依賴
三.啟動
四.FAQ
一.配置環境
1.將在Linux系統中解壓的hadoop版本(.gz后綴),解壓到指定目錄
2.配置HADOOP_HOME環境變量
(1)新建環境變量(我解壓在F:/)

(2)Path變量

(3)檢驗:在dos窗口中輸入hadoop

3.下載windows下連接hadoop需要的文件
文件鏈接:https://pan.baidu.com/s/15Ti2XAIJhXYtRyKUf1lYDA
提取碼:zie1
(1)將hadoop.dll復制到C:\Windows\System32目錄下

(2)將hadoop.dll和winutils.exe復制到F:\hadoop-2.6.0-cdh5.7.0\bin目錄下

二.Idea中創建Maven項目,導入依賴
org.apache.hadoop hadoop-client ${hadoop.version}
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>${hadoop.version}</version>
</dependency>

<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-hdfs</artifactId>
<version>${hadoop.version}</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-mapreduce-client-core</artifactId>
<version>${hadoop.version}</version>
</dependency>

<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-mapreduce-client-jobclient</artifactId>
<version>${hadoop.version}</version>
</dependency>

<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-mapreduce-client-common</artifactId>
<version>${hadoop.version}</version>
</dependency>

<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
<version>4.11</version>
<scope>test</scope>
</dependency>

三.啟動

啟動

在文件系統中可以看到目錄已創建

四.FAQ
報錯:UnknownHostException在C:\Windows\System32\drivers\etc:下的hosts中加上Linux系統的ip地址 主機名

2.報錯ConnectException:Connection Refused: no further informtion

核對hosts文件的ip地址和window系統hosts文件上的ip是否為Linux系統上的ip地址,如果一致還報錯,重啟虛擬機.
3.報錯權限不足
在FileSystem.get()方法中添加Linux系統的用戶