1 准備環境
2 安裝JDK
3 上傳 spark安裝包
4 解壓 spark並修改配置文件(兩個配置文件,第一個配置文件添加了3個配置參數)
5 將配置好的 spark安裝程序拷貝給其他機器 for i in{5..8}; do scp-r/ biodata/ spark-2.2.0-bin-hadoop2. 7/ node-$i:/biodata:done
6 啟動 spark(sbin/ start-all.sh)
問題:Worker怎么知道 Master在嘟里嗯?
7 通過web頁面訪問 spark管理頁面( master所在機器的地址+8088端口)
該方案仍存在單點故障問題,需要引入備用master,但需要結合zookeeper部署,