Spark 源碼分析系列

如下，是 spark 相關系列的一些文章匯總，持續更新中......

Spark RPC

spark 源碼分析之五--Spark RPC剖析之創建NettyRpcEnv

spark 源碼分析之六--Spark RPC剖析之Dispatcher和Inbox、Outbox剖析

spark 源碼分析之七--Spark RPC剖析之RpcEndPoint和RpcEndPointRef剖析

spark 源碼分析之八--Spark RPC剖析之TransportContext和TransportClientFactory剖析

spark 源碼分析之十--Spark RPC剖析之TransportResponseHandler、TransportRequestHandler和TransportChannelHandler剖析

spark 源碼分析之九--Spark RPC剖析之StreamManager和RpcHandler

spark 源碼分析之十一--Spark RPC剖析之TransportClient、TransportServer剖析

spark 源碼分析之十二--Spark RPC剖析之Spark RPC總結

Spark 存儲

spark 源碼分析之十三 -- SerializerManager剖析

spark 源碼分析之十四 -- broadcast 是如何實現的？

spark 源碼分析之十五 -- Spark內存管理剖析

spark 源碼分析之十六 -- Spark內存存儲剖析

spark 源碼分析之十七 -- Spark磁盤存儲剖析

spark 源碼分析之十八 -- Spark存儲體系剖析

Spark Streaming

spark streaming 接收kafka消息之一 -- 兩種接收方式

spark streaming 接收kafka消息之二 -- 運行在driver端的receiver

spark streaming 接收kafka消息之三 -- kafka broker 如何處理 fetch 請求

spark streaming 接收kafka消息之四 -- 運行在 worker 上的 receiver

spark streaming 接收kafka消息之五 -- spark streaming 和 kafka 的對接總結

Spark 任務調度

spark 源碼分析之一 -- RDD的四種依賴關系

spark 源碼分析之二 -- SparkContext 的初始化過程

spark 源碼分析之三 -- LiveListenerBus介紹

spark 源碼分析之四 -- TaskScheduler的創建和啟動過程

spark 源碼分析之十九 -- DAG的生成和Stage的划分

spark 源碼分析之二十 -- Stage的提交

spark 源碼分析之二十一 -- Task的執行流程 

Spark任務計算

spark 源碼分析之二十二-- Task的內存管理

spark shuffle的寫操作之准備工作

spark shuffle寫操作三部曲之BypassMergeSortShuffleWriter

spark shuffle寫操作三部曲之UnsafeShuffleWriter

spark shuffle寫操作三部曲之SortShuffleWriter

spark shuffle讀操作 

Spark SQL

spark sql 執行計划生成案例

如何查看SparkSQL 生成的抽象語法樹？

Spark SQL 之自定義刪除外部表

spark sql 自定義之 thriftserver 高可用

spark sql 之drop partition定制

其他

修改Apache Livy 源碼使其支持動態資源分配和堆外內存分配

spark 集群優化