windows下安裝spark

1、安裝jdk

2、安裝scala

3、下載spark

spark下載地址

3.1安裝spark

• 將下載的文件解壓到一個目錄，注意目錄不能有空格，比如說不能解壓到C:\Program Files
• 作者解壓到了這里，
  
• 將spark的bin路徑添加到path中
  
• cmd輸入spark-shell，成功安裝啦，有個報錯是因為還沒安裝Hadoop，
  

4、安裝hadoop

• 由於spark版本為spark-2.3.3-bin-hadoop2.7，我們選擇下2.8.5版本的Hadoop
  hadoop下載地址
  

• 解壓
  

• 添加環境變量，新建一個HADOOP_HOME
  

• 在path添加
  

• 到此運行spark-shell還會有沒安裝的時候那個報錯，接下來需要替代Hadoop里的bin文件來解決這個錯。

5、下載winutils

• 下載地址
• 筆者用的是hadoop2.8.5版本的，下載的winutils上hadoop2.8.3版本的bin，實測也是可行的。
  
• 接下來將bin替換原來Hadoop中的bin

6、運行spark-shell成功啦