idea配置本地spark本地開發環境

1.配置JDK

　　　省略

2.配置scala

　　省略

3.配置hadoop

　　1.下載所需要的hadoop版本，並解壓

　　　　https://archive.apache.org/dist/hadoop/common/

　　　　

 

 

 　　　　下載之后解壓到一個目錄下，例如：  F:\bigdata\software\hadoop-2.8.5

　　2.配置環境變量

　　　　編輯系統環境變量，配置HADOOP_HOME

　　　　

 

 

 　　　　Path中添加：%HADOOP_HOME%\bin

　　3.替換HADOOP_HOME/bin下的文件

　　　　下述鏈接下載winutils-master，解壓，獲取和自己hadoop對應的版本，將其bin下的所有文件拷貝至HADOOP/bin下，並將重復的替換掉

　　　　鏈接：https://pan.baidu.com/s/11TiFjgd6qmBUJW9kIHPS4g
　　　　提取碼：1111

4.配置spark

　　　　1.下載和hadoop對應的spark版本

　　　　2.解壓，配置環境變量

　　　　　　系統環境變量配置SPARK_HOME：

　　　　　　

　　　　　　Path中添加：%SPARK_HOME%\bin

5.idea本地開發