spark安裝配置（scala不是必須的，基於java虛擬機，因此scala可以不配，但是開發需要可以配）

 

 

 

下載

http://spark.apache.org/downloads.html

下載2.3.1

https://blog.csdn.net/qq_15349687/article/details/82748074（齊全）

配置文件

https://www.cnblogs.com/purstar/p/6293605.html

https://www.cnblogs.com/swordfall/p/7903678.html（配置明了）

把上面相對應的路徑和名字改為自己的即可，

配置環境變量bin和sbin

 

cp slaves.properties slaves

slaves里

node1

node2

 

 

cp spark-env.sh.properties spark-env.sh

hadoop_conf_dir=/home/hadoop/hadoop_home/etc/hadoop

 

 

 

上面不詳細，詳細如下

 

 

 

 

 

報錯

檢查得知端口有誤

（因本人在配置時直接把spark-default.xml文件里的內容取消注釋，而忘記修改，不是master：9000）