Spark源碼系列（十）spark源碼解析大全
第1章 Spark 整體概述 1.1 整體概念 Apache Spark 是一個開源的通用集群計算系統，它提供了 High-level 編程 API，支持 Scala、Java 和 Python 三種編程語言 ...
原文：Spark源碼系列（十一）spark源碼解析總結
Spark 通信架構 spark 一開始使用 akka 作為網絡通信框架，spark .X 版本以后完全拋棄 akka，而使用 netty 作為新的網絡通信框架。 最主要原因：spark 對 akka 沒有維護，需要 akka 更新，spark 的發展受到了 akka 的牽制，akka 版本之間無法通信，即 akka 兼容性問題。 RpcEnv：RPC 上下文環境，每個 Rpc 端點運行時依賴的 ...
2020-05-29 18:39 1 1394 推薦指數：
相關推薦
Spark內核源碼解析
1.spark內核架構常用術語 Application:基於spark程序，包含一個driver program(客戶端程序)和多個executeor（線程） Driver Progrom:代表着sparkcontext executeor:某個Application運行在worker ...
Spark源碼系列（九）spark源碼分析以及優化
第一章、spark源碼分析之RDD四種依賴關系 一、RDD四種依賴關系 RDD四種依賴關系，分別是 ShuffleDependency、PrunDependency、RangeDependency和OneToOneDependency四種依賴關系。如下圖所示 ...
Spark 源碼分析系列
如下，是 spark 相關系列的一些文章匯總，持續更新中...... Spark RPC spark 源碼分析之五--Spark RPC剖析之創建NettyRpcEnv spark 源碼分析之六--Spark RPC剖析之Dispatcher和Inbox、Outbox剖析 spark 源碼 ...
Spark源碼解析 - Spark-shell淺析
1.准備工作 1.1 安裝spark，並配置spark-env.sh 使用spark-shell前需要安裝spark，詳情可以參考http://www.cnblogs.com/swordfall/p/7903678.html 如果只用一個節點，可以不用配置slaves文件 ...
spark源碼解析之基本概念
從兩方面來闡述spark的組件，一個是宏觀上，一個是微觀上。 1. spark組件 要分析spark的源碼，首先要了解spark是如何工作的。spark的組件： 了解其工作過程先要了解基本概念 官方羅列了一些概念： Term Meaning ...
Spark Netty與Jetty （源碼閱讀十一）
spark呢，對Netty API又做了一層封裝，那么Netty是什么呢~是個鬼。它基於NIO的服務端客戶端框架，具體不再說了，下面開始。 創建了一個線程工廠，生成的線程都給定一個前綴名。 像一般的netty框架一樣，創建Netty的EventLoopGroup ...
Spark源碼分析系列（目錄）
記錄自己學習研究 Spark 的探索過程，為后續總結奠定基礎。 本文代碼研究以 Spark 2.3.0 源代碼為基准，如果看本文，請閱讀時，下載對應的 Spark 版本。 圖1 伯克利的數據分析軟件棧BDAS（Berkeley Data Analytics Stack） 這里要先說 ...