mac下spark單機環境配置筆記


 

1.安裝scala

  • 從http://www.scala-lang.org下載scala-2.11.7.tgz並解壓縮
  • 將解壓縮的文件夾用mv指令移動到/usr/local/share
    mv [scalapath] /usr/local/share
  • 修改/etc/profile文件權限.
    sudo vim /etc/profile

    添加path:   把下面的一行代碼加入到profile文件末尾

    export PATH="$PATH:/usr/local/share/scala-2.11.7/bin"
  • 測試: 重啟終端,輸入scala,出現:
    Welcome to Scala version 2.11.7 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_60).
    Type in expressions to have them evaluated.
    Type :help for more information.

 

2.安裝scala ide: IntelliJ IDEA 15 CE

從官網http://www.jetbrains.com/idea/下載.dmg並安裝即可。

 

3.安裝spark

從官網 http://spark.apache.org/downloads.html下下來解壓縮就可以用了。這里有篇筆記很好,我轉下,原地址 http://www.jianshu.com/p/3720656a390d.

還有一個standalone模式詳細的使用例子:http://www.cnblogs.com/zhangqingping/p/4352977.html

 

 

安裝流程:

1. 在“Download Spark”的三個下拉框里選擇。(我分別選的當時最新的1.3.1,Pre-build for 2.6, Direct Download)

2. 點擊“4. Download Spark: xxxxx” 的鏈接就可以下載了(200多M)。

3. 解壓下載好的tgz文件,並將這個文件夾(spark-1.3.1-bin-hadoop2.6)放到你想存放的地方(比如“/Users/username/IDE/spark-1.3.1-bin-hadoop2.6”)。

4. 然后這就算裝好了,你敢信!

 

不信咱就跑跑看。

1. [啟動主機]點開官方簡介傳送門,聚焦標題“Starting a Cluster Manually”。 你可以看到主機啟動命令,復制它:

./sbin/start-master.sh

2. 回到Finder,右鍵點擊剛才解壓並移動過的文件夾,點擊最下面的“New Tab Terminal at Folder”. 在命令框里黏貼上面那條命令。回車。出來2,3行路徑。這時候主機已經開始運行了。

3. 打開瀏覽器。 輸入下面的默認端口就能看見主機運行情況了。

http://localhost:8080  

4. [加子嗣]現在的主機是個光桿司令,要給他派兵啊。

在官方簡介“Starting a Cluster Manually”下復制命令

./bin/spark-class org.apache.spark.deploy.worker.Worker spark://IP:PORT

回到terminal命令行,點擊右上角的“+”號。打開一個擁有同樣路徑的新界面。黏貼復制的命令,按后退鍵刪除掉 spark://IP:PORT (別急着回車!我們要貼上自己的主機地址。)

回到瀏覽器的“http://localhost:8080/”頁面

復制第二行黑體字URL:后面的部分,“spark://xxxx:xxxx”也就是你的主機地址。前四個x是一串字符,冒號后的四個x是四個數字。(這里我們是在同一個電腦上創建主機和子嗣。如果你是把別的電腦當作子嗣加入主機,那么要求主機和子嗣是在同一個網絡中。同樣,需要在spark文件夾路徑下打開terminal輸入相應的命令)

URL:spark://xxxx:xxxx

5. 這樣整條命令就變成“./bin/spark-class org.apache.spark.deploy.worker.Worker spark://xxxx:xxxx” 安心的拍下回車吧!

6. 刷刷幾頁信息跳過后,這個窗口就像死了機一樣了。別擔心,這是因為這個命令端已經作為子嗣為你剛建立的主機開始賣命了。不信的話你刷新一下主機信息網頁。

http://localhost:8080

在“Workers”列表下赫然出現了你的第一個子嗣。其狀態State為ALIVE。表示它正在運作。這時候你需要記住,當前Terminal的窗口對應就是那個剛加入的Worker Id。

7. [刪除子嗣]工作干完了,把小崽子們放出去玩吧。只需要在那個看似死機了teminal里按下“Ctrl + C”就行了。

這時候命令行回復工作,而主機信息網頁刷新后會將對應子嗣的state改成DEAD。說明和子嗣的聯系切斷了。此信息回保留一段時間,然后會被完全刪除。

8. [關閉主機]

和啟動主機一樣,在主文件夾路徑下輸入相應命令即可。

./sbin/stop-master.sh

這時http://localhost:8080/ 刷新后就是空網頁了。

如果你有沒有關閉的子嗣。在其terminal窗口中會顯示其試圖重連主機的信息。如果你再次打開主機(而且port號沒變的話),沒關的子嗣會重新連上去。

==============================

小結 Sum up:

0.知道怎么在Mac上裝Spark。(就是解壓縮嘛!)

1.知道怎么建立和關閉主機。(一個命令)

2.知道怎么建立子嗣連上主機。(查好主機URL然后一個命令)

3.知道怎么關閉子嗣。(在相應terminal中拍“Ctrl+C”)


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM