1.安裝scala
- 從http://www.scala-lang.org下載scala-2.11.7.tgz並解壓縮
- 將解壓縮的文件夾用mv指令移動到/usr/local/share
mv [scalapath] /usr/local/share
- 修改/etc/profile文件權限.
sudo vim /etc/profile
添加path: 把下面的一行代碼加入到profile文件末尾
export PATH="$PATH:/usr/local/share/scala-2.11.7/bin"
- 測試: 重啟終端,輸入scala,出現:
Welcome to Scala version 2.11.7 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_60). Type in expressions to have them evaluated. Type :help for more information.
2.安裝scala ide: IntelliJ IDEA 15 CE
從官網http://www.jetbrains.com/idea/下載.dmg並安裝即可。
3.安裝spark
從官網 http://spark.apache.org/downloads.html下下來解壓縮就可以用了。這里有篇筆記很好,我轉下,原地址 http://www.jianshu.com/p/3720656a390d.
還有一個standalone模式詳細的使用例子:http://www.cnblogs.com/zhangqingping/p/4352977.html
安裝流程:
1. 在“Download Spark”的三個下拉框里選擇。(我分別選的當時最新的1.3.1,Pre-build for 2.6, Direct Download)
2. 點擊“4. Download Spark: xxxxx” 的鏈接就可以下載了(200多M)。
3. 解壓下載好的tgz文件,並將這個文件夾(spark-1.3.1-bin-hadoop2.6)放到你想存放的地方(比如“/Users/username/IDE/spark-1.3.1-bin-hadoop2.6”)。
4. 然后這就算裝好了,你敢信!
不信咱就跑跑看。
1. [啟動主機]點開官方簡介傳送門,聚焦標題“Starting a Cluster Manually”。 你可以看到主機啟動命令,復制它:
./sbin/start-master.sh
2. 回到Finder,右鍵點擊剛才解壓並移動過的文件夾,點擊最下面的“New Tab Terminal at Folder”. 在命令框里黏貼上面那條命令。回車。出來2,3行路徑。這時候主機已經開始運行了。
3. 打開瀏覽器。 輸入下面的默認端口就能看見主機運行情況了。
http://localhost:8080
4. [加子嗣]現在的主機是個光桿司令,要給他派兵啊。
在官方簡介“Starting a Cluster Manually”下復制命令
./bin/spark-class org.apache.spark.deploy.worker.Worker spark://IP:PORT
回到terminal命令行,點擊右上角的“+”號。打開一個擁有同樣路徑的新界面。黏貼復制的命令,按后退鍵刪除掉 spark://IP:PORT (別急着回車!我們要貼上自己的主機地址。)
回到瀏覽器的“http://localhost:8080/”頁面
復制第二行黑體字URL:后面的部分,“spark://xxxx:xxxx”也就是你的主機地址。前四個x是一串字符,冒號后的四個x是四個數字。(這里我們是在同一個電腦上創建主機和子嗣。如果你是把別的電腦當作子嗣加入主機,那么要求主機和子嗣是在同一個網絡中。同樣,需要在spark文件夾路徑下打開terminal輸入相應的命令)
URL:spark://xxxx:xxxx
5. 這樣整條命令就變成“./bin/spark-class org.apache.spark.deploy.worker.Worker spark://xxxx:xxxx” 安心的拍下回車吧!
6. 刷刷幾頁信息跳過后,這個窗口就像死了機一樣了。別擔心,這是因為這個命令端已經作為子嗣為你剛建立的主機開始賣命了。不信的話你刷新一下主機信息網頁。
http://localhost:8080
在“Workers”列表下赫然出現了你的第一個子嗣。其狀態State為ALIVE。表示它正在運作。這時候你需要記住,當前Terminal的窗口對應就是那個剛加入的Worker Id。
7. [刪除子嗣]工作干完了,把小崽子們放出去玩吧。只需要在那個看似死機了teminal里按下“Ctrl + C”就行了。
這時候命令行回復工作,而主機信息網頁刷新后會將對應子嗣的state改成DEAD。說明和子嗣的聯系切斷了。此信息回保留一段時間,然后會被完全刪除。
8. [關閉主機]
和啟動主機一樣,在主文件夾路徑下輸入相應命令即可。
./sbin/stop-master.sh
這時http://localhost:8080/ 刷新后就是空網頁了。
如果你有沒有關閉的子嗣。在其terminal窗口中會顯示其試圖重連主機的信息。如果你再次打開主機(而且port號沒變的話),沒關的子嗣會重新連上去。
==============================
小結 Sum up:
0.知道怎么在Mac上裝Spark。(就是解壓縮嘛!)
1.知道怎么建立和關閉主機。(一個命令)
2.知道怎么建立子嗣連上主機。(查好主機URL然后一個命令)
3.知道怎么關閉子嗣。(在相應terminal中拍“Ctrl+C”)