win10下Spark的環境搭建
2018-08-19 18:36:45
一、jdk 1.8.0 安裝與配置
二、scala 2.11.8 安裝與配置http://www.scala-lang.org/download/2.11.8.html
上面兩步見《win10下安裝scala》
三、spark 2.3.0 安裝與配置
1、下載spark:官網地址：http://spark.apache.org/downloads.html
2、下載完成后解壓到D盤根目錄下即可。D:\spark-2.3.0-bin-hadoop2.6。
3、配置Path：將D:\spark-2.3.0-bin-hadoop2.6\bin添加到Path中。
4、通過spark-shell進入到spark交互式命令行模式下
上面可以看見安裝的scala版本、jdk版本、spark版本。
注意：上面出現了異常信息，是由於hadoop導致的。所以還要下載安裝hadoop進行相關配置。
四、hadoop 2.6.4 安裝與配置
1、下載hadoop：官方地址：http://hadoop.apache.org/releases.html
2、解壓到D盤根目錄下。
3、配置環境變量：HADOOP_HOME 和 Path。
4、winutils下載：https://github.com/steveloughran/winutils
下載對應版本的bin目錄將hadoop文件夾中的bin目錄替換掉。
5、再次spark-shell，就不會出現異常信息了。
6、訪問webUI：
這樣win10環境下本地的spark環境就搭建完成了！！！
下面就可以編程學習了。。。。。
https://blog.csdn.net/u011513853/article/details/52896230 （ IDEA和maven）