Spark之SQL解析（源码阅读十）
如何能更好的运用与监控sparkSQL?或许我们改更深层次的了解它深层次的原理是什么。之前总结的已经写了传统数据库与Spark的sql解析之间的差别。那么我们下来直切主题~ 如今的Spark已经支持多种多样的数据源的查询与加载，兼容了Hive,可用JDBC的方式或者ODBC来连接 ...
原文：Spark源码系列（十）spark源码解析大全
第 章 Spark 整体概述 . 整体概念 Apache Spark 是一个开源的通用集群计算系统，它提供了 High level 编程 API，支持 Scala Java 和 Python 三种编程语言。Spark 内核使用 Scala 语言编写，通过基于 Scala 的函数式编程特性，在不同的计算层面进行抽象，代码设计非常优秀。 . RDD 抽象 RDD Resilient Distribu ...
2020-05-29 18:36 2 4037 推荐指数：
相关推荐
Spark源码系列（十一）spark源码解析总结
========== Spark 通信架构 ========== 1、spark 一开始使用 akka 作为网络通信框架，spark 2.X 版本以后完全抛弃 akka，而使用 netty 作为新的网络通信框架。 最主要原因：spark 对 akka 没有维护，需要 ...
Spark内核源码解析
1.spark内核架构常用术语 Application:基于spark程序，包含一个driver program(客户端程序)和多个executeor（线程） Driver Progrom:代表着sparkcontext executeor:某个Application运行在worker ...
Spark源码系列（九）spark源码分析以及优化
第一章、spark源码分析之RDD四种依赖关系 一、RDD四种依赖关系 RDD四种依赖关系，分别是 ShuffleDependency、PrunDependency、RangeDependency和OneToOneDependency四种依赖关系。如下图所示 ...
Spark 源码分析系列
如下，是 spark 相关系列的一些文章汇总，持续更新中...... Spark RPC spark 源码分析之五--Spark RPC剖析之创建NettyRpcEnv spark 源码分析之六--Spark RPC剖析之Dispatcher和Inbox、Outbox剖析 spark 源码 ...
Spark源码解析 - Spark-shell浅析
1.准备工作 1.1 安装spark，并配置spark-env.sh 使用spark-shell前需要安装spark，详情可以参考http://www.cnblogs.com/swordfall/p/7903678.html 如果只用一个节点，可以不用配置slaves文件 ...
spark源码解析之基本概念
从两方面来阐述spark的组件，一个是宏观上，一个是微观上。 1. spark组件 要分析spark的源码，首先要了解spark是如何工作的。spark的组件： 了解其工作过程先要了解基本概念 官方罗列了一些概念： Term Meaning ...
Spark源码分析系列（目录）
记录自己学习研究 Spark 的探索过程，为后续总结奠定基础。 本文代码研究以 Spark 2.3.0 源代码为基准，如果看本文，请阅读时，下载对应的 Spark 版本。 图1 伯克利的数据分析软件栈BDAS（Berkeley Data Analytics Stack） 这里要先说 ...