本地模式
Spark單機運行,一般用於開發測試。
Standalone模式
構建一個由Master+Slave構成的Spark集群,Spark運行在集群中。
Spark on Yarn模式
Spark客戶端直接連接Yarn。不需要額外構建Spark集群。
Spark on Mesos模式
Spark客戶端直接連接Mesos。不需要額外構建Spark集群
Spark四種分布式部署方式比較
原文參見 :https://blog.csdn.net/WYpersist/article/details/79731621
結論:
四種分布式部署方式各有利弊,通常需要根據實際情況決定采用哪種方案。進行方案選擇時,往往要考慮公司的技術路線(采用Hadoop生態系統還是其他生態系統)、相關技術人才儲備等。上面涉及到Spark的許多部署模式,究竟哪種模式好這個很難說,需要根據你的需求,如果你只是測試Spark Application,你可以選擇local模式。而如果你數據量不是很多,Standalone 是個不錯的選擇。當你需要統一管理集群資源(Hadoop、Spark等),那么你可以選擇Yarn或者mesos,但是這樣維護成本就會變高。
· 從對比上看,mesos似乎是Spark更好的選擇,也是被官方推薦的
· 但如果你同時運行hadoop和Spark,從兼容性上考慮,Yarn是更好的選擇。 · 如果你不僅運行了hadoop,spark。還在資源管理上運行了docker,Mesos更加通用。
· Standalone對於小規模計算集群更適合