Spark的運行模式(1)--Local和Standalone


Spark一共有5種運行模式:Local,Standalone,Yarn-Cluster,Yarn-Client和Mesos。

1. Local

Local模式即單機模式,如果在命令語句中不加任何配置,則默認是Local模式,在本地運行。這也是部署、設置最簡單的一種模式

2. Standalone

Standalone是Spark自身實現的資源調度框架。如果我們只使用Spark進行大數據計算,不使用其他的計算框架(如MapReduce或者Storm)時,就采用Standalone模式。

Standalone模式的部署比較繁瑣,需要把Spark的部署包安裝到每一台節點機器上,並且部署的目錄也必須相同,而且需要Master節點和其他節點實現SSH無密碼登錄。啟動時,需要先啟動Spark的Master和Slave節點。

其中master:7077是Spark的Master節點的主機名和端口號。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM