轉載或借鑒請注明轉自 http://www.cnblogs.com/FG123/p/5101733.html 謝謝！
1.安裝Spark之前需要先安裝Java，Scala及Python(個人喜歡用pyspark，當然你也可以用原生的Scala)
首先安裝Java jdk：
我們可以在Oracle的官網下載Java SE JDK，下載鏈接：http://www.oracle.com/technetwork/java/javase/downloads/index.html。
最好是下載最新版本，下載完解壓，配置環境變量等，可以查看是否安裝好
然后安裝Scala：
這里我們下載最新版本2.11.7的Scala安裝 Scala官網下載地址：https://www.scala-lang.org/download/
然后我們執行：
tar zxvf scala-2.11.7.tgz
sudo mv scala-2.11.7 /opt/
解壓后測試scala命令，並查看版本：
然后安裝Python及IPython：
sudo apt-get install python ipython
查看他們的版本信息：
安裝spark：
Spark官方下載鏈接：http://spark.apache.org/downloads.html 我下的是Spark 1.5.1
下載后解壓並拷貝到/opt/目錄：
tar zxvf spark-1.5.1-bin-hadoop2.6.tgz
sudo mv spark-1.5.1-bin-hadoop2.6 /opt/
配置路徑到PATH環境變量中：
echo "export PATH=$PATH:/opt/spark-1.5.1-bin-hadoop2.6/bin" >> ~/.bashrc
source ~/.bashrc
測試下spark-shell的位置是否可以找到 ：
進入spark配置目錄進行配置：
cd /opt/spark-1.5.1-bin-hadoop2.6/conf
cp log4j.properties.template log4j.properties
修改 log4j.rootCategory=WARN, console
sudo cp spark-env.sh.template spark-env.sh
設置spark的環境變量，進入spark-env.sh文件添加：
export SPARK_HOME=/opt/spark-1.5.1-bin-hadoop2.6
export SCALA_HOME=/opt/scala-2.11.7
至此，Spark就已經安裝好了
運行spark：
Spark-Shell命令可以進入spark，可以使用Ctrl D組合鍵退出Shell：
我們可以看到進入的是Scala狀態下的spark
如果習慣用python 我們可以運行pyspark：
或者直接使用IPython，執行命令：IPYTHON=1 pyspark：
啟動spark服務：
這里我們啟動了主結點
如果主節點啟動成功，master默認可以通過web訪問http://localhost:8080：
上述的spark://ubuntu:7077 就是從結點啟動的參數 我的是Ubuntu 你們的可能是不一樣的
啟動slave：
./sbin/start-slave.sh spark://ubuntu:7077
我們可以再次刷新瀏覽器頁面，可以看到worker Id多了一行：
停止服務：
./sbin/stop-all.sh 輸入密碼即可停止
