spark源码解析之基本概念
从两方面来阐述spark的组件，一个是宏观上，一个是微观上。 1. spark组件 要分析spark的源码，首先要了解spark是如何工作的。spark的组件： 了解其工作过程先要了解基本概念 官方罗列了一些概念： Term Meaning ...
原文：Spark内核源码解析
.spark内核架构常用术语 Application:基于spark程序，包含一个driver program 客户端程序 和多个executeor 线程 Driver Progrom:代表着sparkcontext executeor:某个Application运行在worker node上的一个进程，该进程负责运行Task,并且将数据存储到内存或者磁盘上，每个Application都有各自独 ...
2019-06-27 15:29 0 1193 推荐指数：
相关推荐
【大数据】Spark内核解析
1. Spark 内核概述 Spark内核泛指Spark的核心运行机制，包括Spark核心组件的运行机制、Spark任务调度机制、Spark内存管理机制、Spark核心功能的运行原理等，熟练掌握Spark内核原理，能够帮助我们更好地完成Spark代码设计，并能够帮助我们准确锁定项目运行 ...
Tensorflow源码解析1 -- 内核架构和源码结构
TensorFlow系统架构 TensorFlow设计十分精巧，基于分层和模块化的设计思想进行开发的。框架如下图 整个框架以C API为界，分为前端和后端两大部分。 前端：提供编程模型 ...
Spark源码解析 - Spark-shell浅析
1.准备工作 1.1 安装spark，并配置spark-env.sh 使用spark-shell前需要安装spark，详情可以参考http://www.cnblogs.com/swordfall/p/7903678.html 如果只用一个节点，可以不用配置slaves文件 ...
Spark源码系列（十）spark源码解析大全
。Spark 内核使用 Scala 语言编写，通过基于 Scala 的函数式编程特性，在不同的计算层面进行抽象， ...
Spark源码系列（十一）spark源码解析总结
========== Spark 通信架构 ========== 1、spark 一开始使用 akka 作为网络通信框架，spark 2.X 版本以后完全抛弃 akka，而使用 netty 作为新的网络通信框架。 最主要原因：spark 对 akka 没有维护，需要 ...
关于互斥锁,条件变量的内核源码解析
一、解决问题和适用范围 主要是用来等待一个条件，这个条件可能需要另一个线程来满足这个条件。这个和我们平常适用的pthread_mutex_lock的最大不同在于后者保护的一般是一个代码段(也就是关键 ...
Spark Streaming运行流程及源码解析（一）
本系列主要描述Spark Streaming的运行流程，然后对每个流程的源码分别进行解析 之前总听同事说Spark源码有多么棒，咱也不知道，就是疯狂点头。今天也来撸一下Spark源码。 对Spark的使用也就是Spark Streaming使用的多一点，所以就拿Spark ...