Spark之SQL解析（源碼閱讀十）
如何能更好的運用與監控sparkSQL?或許我們改更深層次的了解它深層次的原理是什么。之前總結的已經寫了傳統數據庫與Spark的sql解析之間的差別。那么我們下來直切主題~ 如今的Spark已經支持多種多樣的數據源的查詢與加載，兼容了Hive,可用JDBC的方式或者ODBC來連接 ...
原文：Spark源碼系列（十）spark源碼解析大全
第 章 Spark 整體概述 . 整體概念 Apache Spark 是一個開源的通用集群計算系統，它提供了 High level 編程 API，支持 Scala Java 和 Python 三種編程語言。Spark 內核使用 Scala 語言編寫，通過基於 Scala 的函數式編程特性，在不同的計算層面進行抽象，代碼設計非常優秀。 . RDD 抽象 RDD Resilient Distribu ...
2020-05-29 18:36 2 4037 推薦指數：
相關推薦
Spark源碼系列（十一）spark源碼解析總結
========== Spark 通信架構 ========== 1、spark 一開始使用 akka 作為網絡通信框架，spark 2.X 版本以后完全拋棄 akka，而使用 netty 作為新的網絡通信框架。 最主要原因：spark 對 akka 沒有維護，需要 ...
Spark內核源碼解析
1.spark內核架構常用術語 Application:基於spark程序，包含一個driver program(客戶端程序)和多個executeor（線程） Driver Progrom:代表着sparkcontext executeor:某個Application運行在worker ...
Spark源碼系列（九）spark源碼分析以及優化
第一章、spark源碼分析之RDD四種依賴關系 一、RDD四種依賴關系 RDD四種依賴關系，分別是 ShuffleDependency、PrunDependency、RangeDependency和OneToOneDependency四種依賴關系。如下圖所示 ...
Spark 源碼分析系列
如下，是 spark 相關系列的一些文章匯總，持續更新中...... Spark RPC spark 源碼分析之五--Spark RPC剖析之創建NettyRpcEnv spark 源碼分析之六--Spark RPC剖析之Dispatcher和Inbox、Outbox剖析 spark 源碼 ...
Spark源碼解析 - Spark-shell淺析
1.准備工作 1.1 安裝spark，並配置spark-env.sh 使用spark-shell前需要安裝spark，詳情可以參考http://www.cnblogs.com/swordfall/p/7903678.html 如果只用一個節點，可以不用配置slaves文件 ...
spark源碼解析之基本概念
從兩方面來闡述spark的組件，一個是宏觀上，一個是微觀上。 1. spark組件 要分析spark的源碼，首先要了解spark是如何工作的。spark的組件： 了解其工作過程先要了解基本概念 官方羅列了一些概念： Term Meaning ...
Spark源碼分析系列（目錄）
記錄自己學習研究 Spark 的探索過程，為后續總結奠定基礎。 本文代碼研究以 Spark 2.3.0 源代碼為基准，如果看本文，請閱讀時，下載對應的 Spark 版本。 圖1 伯克利的數據分析軟件棧BDAS（Berkeley Data Analytics Stack） 這里要先說 ...