Apache Spark源碼走讀之5 -- DStream處理的容錯性分析
再次處理呢？ 環境搭建 為了有一個感性的認識，先運行一下簡單的Spark Streaming示例。首 ...
原文：Apache Spark源碼走讀之15 -- Standalone部署模式下的容錯性分析
歡迎轉載，轉載請注明出處，徽滬一郎。 概要 本文就standalone部署方式下的容錯性問題做比較細致的分析，主要回答standalone部署方式下的包含哪些主要節點，當某一類節點出現問題時，系統是如何處理的。 Standalone部署的節點組成 介紹Spark的資料中對於RDD這個概念涉及的比較多，但對於RDD如何運行起來，如何對應到進程和線程的，着墨的不是很多。 在實際的生產環境中，Spark ...
2014-06-17 21:51 2 3415 推薦指數：
相關推薦
Apache Spark源碼走讀之7 -- Standalone部署方式分析
歡迎轉載，轉載請注明出處，徽滬一郎。 楔子 在Spark源碼走讀系列之2中曾經提到Spark能以Standalone的方式來運行cluster，但沒有對Application的提交與具體運行流程做詳細的分析，本文就這些問題做一個比較詳細的分析，並且對在standalone模式下如何實現HA進行 ...
Apache Spark源碼走讀之19 -- standalone cluster模式下資源的申請與釋放
歡迎轉載，轉載請注明出處，徽滬一郎。 概要 本文主要講述在standalone cluster部署模式下，Spark Application在整個運行期間，資源(主要是cpu core和內存)的申請與釋放。 構成Standalone cluster部署模式的四大組成部件如下圖所示，分別為 ...
Apache Spark源碼走讀之9 -- Spark源碼編譯
歡迎轉載，轉載請注明出處，徽滬一郎。 概要 本來源碼編譯沒有什么可說的，對於java項目來說，只要會點maven或ant的簡單命令，依葫蘆畫瓢，一下子就ok了。但到了Spark上面，事情似乎不這么簡單，按照spark officical document上的來做，總會出現這樣或那樣的編譯 ...
Apache Spark源碼走讀之6 -- 存儲子系統分析
歡迎轉載，轉載請注明出處，徽滬一郎。 楔子 Spark計算速度遠勝於Hadoop的原因之一就在於中間結果是緩存在內存而不是直接寫入到disk，本文嘗試分析Spark中存儲子系統的構成，並以數據寫入和數據讀取為例，講述清楚存儲子系統中各部件的交互關系。 存儲子系統概覽 上圖是Spark ...
Apache Spark技術實戰之8：Standalone部署模式下的臨時文件清理
未經本人同意嚴禁轉載，徽滬一郎。 概要 在Standalone部署模式下，Spark運行過程中會創建哪些臨時性目錄及文件，這些臨時目錄和文件又是在什么時候被清理，本文將就這些問題做深入細致的解答。 從資源使用的方面來看，一個進程運行期間會利用到這四個方面的資源，分別是CPU,內存，磁盤和網絡 ...
Apache Spark源碼走讀之8 -- Spark on Yarn
支持Yarn部署，本文將就Spark如何實現在Yarn平台上的部署作比較詳盡的分析。 Spark S ...
Apache Spark源碼走讀之21 -- WEB UI和Metrics初始化及數據更新過程分析
歡迎轉載,轉載請注明出處,徽滬一郎. 概要 WEB UI和Metrics子系統為外部觀察監測Spark內部運行情況提供了必要的窗口，本文將簡略的過一下其內部代碼實現。 WEB UI 先上圖感受一下spark webui 假設當前已經在本機運行standalone cluster模式,輸入 ...