spark 源碼分析之二 -- SparkContext 的初始化過程
，org.apache.spark.sql.SparkSession.Builder#getOrCreate 代碼如下： org.apac ...
原文：Apache Spark源碼走讀之21 -- WEB UI和Metrics初始化及數據更新過程分析
歡迎轉載,轉載請注明出處,徽滬一郎. 概要 WEB UI和Metrics子系統為外部觀察監測Spark內部運行情況提供了必要的窗口，本文將簡略的過一下其內部代碼實現。 WEB UI 先上圖感受一下spark webui 假設當前已經在本機運行standalone cluster模式,輸入http: . . . : 將會看到如下頁面 driver application默認會打開 端口進行http監 ...
2014-08-05 10:12 0 3579 推薦指數：
相關推薦
Apache Spark源碼走讀之5 -- DStream處理的容錯性分析
歡迎轉載，轉載請注明出處，徽滬一郎，謝謝。 在流數據的處理過程中，為了保證處理結果的可信度(不能多算，也不能漏算)，需要做到對所有的輸入數據有且僅有一次處理。在Spark Streaming的處理機制中，不能多算，比較容易理解。那么它又是如何作到即使數據處理結點被重啟，在重啟之后這些數據也會被 ...
Apache Spark源碼走讀之9 -- Spark源碼編譯
歡迎轉載，轉載請注明出處，徽滬一郎。 概要 本來源碼編譯沒有什么可說的，對於java項目來說，只要會點maven或ant的簡單命令，依葫蘆畫瓢，一下子就ok了。但到了Spark上面，事情似乎不這么簡單，按照spark officical document上的來做，總會出現這樣或那樣的編譯 ...
Apache Spark源碼走讀之6 -- 存儲子系統分析
歡迎轉載，轉載請注明出處，徽滬一郎。 楔子 Spark計算速度遠勝於Hadoop的原因之一就在於中間結果是緩存在內存而不是直接寫入到disk，本文嘗試分析Spark中存儲子系統的構成，並以數據寫入和數據讀取為例，講述清楚存儲子系統中各部件的交互關系。 存儲子系統概覽 上圖是Spark ...
Apache Spark源碼走讀之7 -- Standalone部署方式分析
歡迎轉載，轉載請注明出處，徽滬一郎。 楔子 在Spark源碼走讀系列之2中曾經提到Spark能以Standalone的方式來運行cluster，但沒有對Application的提交與具體運行流程做詳細的分析，本文就這些問題做一個比較詳細的分析，並且對在standalone模式下如何實現HA進行 ...
Apache Spark源碼走讀之4 -- DStream實時流數據處理
模型，Spark Streaming系統的初始化過程，以及當接收到外部數據時后續的處理步驟。 系統概述 ...
ABP源碼分析五：ABP初始化全過程
ABP在初始化階段做了哪些操作，前面的四篇文章大致描述了一下。 為個更清楚的描述其脈絡，做了張流程圖以輔助說明。其中每一步都涉及很多細節，難以在一張圖中全部表現出來。每一步的細節（會涉及到較多接口，類，調用關系，步驟流程什么的）會在后面的文章中通過其他圖和文字詳細描述。其實如果仔細分析Abp原代碼 ...
Apache Spark源碼走讀之8 -- Spark on Yarn
支持Yarn部署，本文將就Spark如何實現在Yarn平台上的部署作比較詳盡的分析。 Spark S ...