Apache Spark源碼走讀之15 -- Standalone部署模式下的容錯性分析
歡迎轉載，轉載請注明出處，徽滬一郎。 概要 本文就standalone部署方式下的容錯性問題做比較細致的分析，主要回答standalone部署方式下的包含哪些主要節點，當某一類節點出現問題時，系統是如何處理的。 Standalone部署的節點組成 介紹Spark的資料中對於RDD ...
原文：Apache Spark源碼走讀之19 -- standalone cluster模式下資源的申請與釋放
歡迎轉載，轉載請注明出處，徽滬一郎。 概要 本文主要講述在standalone cluster部署模式下，Spark Application在整個運行期間，資源 主要是cpu core和內存 的申請與釋放。 構成Standalone cluster部署模式的四大組成部件如下圖所示，分別為Master, worker, executor和driver，它們各自運行於獨立的JVM進程。 從資源管理的角 ...
2014-07-21 23:36 0 2758 推薦指數：
相關推薦
Apache Spark源碼走讀之7 -- Standalone部署方式分析
歡迎轉載，轉載請注明出處，徽滬一郎。 楔子 在Spark源碼走讀系列之2中曾經提到Spark能以Standalone的方式來運行cluster，但沒有對Application的提交與具體運行流程做詳細的分析，本文就這些問題做一個比較詳細的分析，並且對在standalone模式下如何實現HA進行 ...
Apache Spark源碼走讀之9 -- Spark源碼編譯
歡迎轉載，轉載請注明出處，徽滬一郎。 概要 本來源碼編譯沒有什么可說的，對於java項目來說，只要會點maven或ant的簡單命令，依葫蘆畫瓢，一下子就ok了。但到了Spark上面，事情似乎不這么簡單，按照spark officical document上的來做，總會出現這樣或那樣的編譯 ...
Apache Spark源碼走讀之8 -- Spark on Yarn
歡迎轉載，轉載請注明出處，徽滬一郎。 概要 Hadoop2中的Yarn是一個分布式計算資源的管理平台，由於其有極好的模型抽象，非常有可能成為分布式計算資源管理的事實標准。其主要職責將是分布式計算集群的管理，集群中計算資源的管理與分配。 Yarn為應用程序開發提供了比較好的實現標准，Spark ...
指針空間的申請與釋放
一、malloc()和free()的基本概念以及基本用法： 1、函數原型及說明： void *malloc(long NumBytes)：該函數分配了NumBytes個字節，並返回了指向這塊內存的指針 ...
freeRTOS 的內存申請與釋放
經過測試，內存申請和及時釋放可以安全使用內存。 但是內存釋放的時候，不會讓所輸入的指針變0，這個需要注意。 xPortGetFreeHeapSize 獲取剩余堆大小 pvPortMalloc 申請內存 vPortFree 釋放內存 舉例： u8 *pin =(u8 ...
Apache Spark源碼走讀之1 -- Spark論文閱讀筆記
歡迎轉載，轉載請注明出處，徽滬一郎。 楔子 源碼閱讀是一件非常容易的事，也是一件非常難的事。容易的是代碼就在那里，一打開就可以看到。難的是要通過代碼明白作者當初為什么要這樣設計，設計之初要解決的主要問題是什么。 在對Spark的源碼進行具體的走讀之前，如果想要快速對Spark的有一個整體性 ...
Apache Spark源碼走讀之13 -- hiveql on spark實現詳解
歡迎轉載，轉載請注明出處，徽滬一郎 概要 在新近發布的spark 1.0中新加了sql的模塊，更為引人注意的是對hive中的hiveql也提供了良好的支持，作為一個源碼分析控，了解一下spark是如何完成對hql的支持是一件非常有趣的事情。 Hive簡介 Hive的由來 以下部分摘自 ...