Spark源码系列（十）spark源码解析大全
第1章 Spark 整体概述 1.1 整体概念 Apache Spark 是一个开源的通用集群计算系统，它提供了 High-level 编程 API，支持 Scala、Java 和 Python 三种编程语言 ...
原文：Spark源码系列（十一）spark源码解析总结
Spark 通信架构 spark 一开始使用 akka 作为网络通信框架，spark .X 版本以后完全抛弃 akka，而使用 netty 作为新的网络通信框架。 最主要原因：spark 对 akka 没有维护，需要 akka 更新，spark 的发展受到了 akka 的牵制，akka 版本之间无法通信，即 akka 兼容性问题。 RpcEnv：RPC 上下文环境，每个 Rpc 端点运行时依赖的 ...
2020-05-29 18:39 1 1394 推荐指数：
相关推荐
Spark内核源码解析
1.spark内核架构常用术语 Application:基于spark程序，包含一个driver program(客户端程序)和多个executeor（线程） Driver Progrom:代表着sparkcontext executeor:某个Application运行在worker ...
Spark源码系列（九）spark源码分析以及优化
第一章、spark源码分析之RDD四种依赖关系 一、RDD四种依赖关系 RDD四种依赖关系，分别是 ShuffleDependency、PrunDependency、RangeDependency和OneToOneDependency四种依赖关系。如下图所示 ...
Spark 源码分析系列
如下，是 spark 相关系列的一些文章汇总，持续更新中...... Spark RPC spark 源码分析之五--Spark RPC剖析之创建NettyRpcEnv spark 源码分析之六--Spark RPC剖析之Dispatcher和Inbox、Outbox剖析 spark 源码 ...
Spark源码解析 - Spark-shell浅析
1.准备工作 1.1 安装spark，并配置spark-env.sh 使用spark-shell前需要安装spark，详情可以参考http://www.cnblogs.com/swordfall/p/7903678.html 如果只用一个节点，可以不用配置slaves文件 ...
spark源码解析之基本概念
从两方面来阐述spark的组件，一个是宏观上，一个是微观上。 1. spark组件 要分析spark的源码，首先要了解spark是如何工作的。spark的组件： 了解其工作过程先要了解基本概念 官方罗列了一些概念： Term Meaning ...
Spark Netty与Jetty （源码阅读十一）
spark呢，对Netty API又做了一层封装，那么Netty是什么呢~是个鬼。它基于NIO的服务端客户端框架，具体不再说了，下面开始。 创建了一个线程工厂，生成的线程都给定一个前缀名。 像一般的netty框架一样，创建Netty的EventLoopGroup ...
Spark源码分析系列（目录）
记录自己学习研究 Spark 的探索过程，为后续总结奠定基础。 本文代码研究以 Spark 2.3.0 源代码为基准，如果看本文，请阅读时，下载对应的 Spark 版本。 图1 伯克利的数据分析软件栈BDAS（Berkeley Data Analytics Stack） 这里要先说 ...