Apache Spark源码走读之17 -- 如何进行代码跟读
欢迎转载，转载请注明出处，徽沪一郎 概要 今天不谈Spark中什么复杂的技术实现，只稍为聊聊如何进行代码跟读。众所周知，Spark使用scala进行开发，由于scala有众多的语法糖，很多时候代码跟着跟着就觉着线索跟丢掉了，另外Spark基于Akka来进行消息交互，那如何知道谁是接收 ...
原文：Spark 代码走读之 Cache
Spark是基于内存的计算模型，但是当compute chain非常长或者某个计算代价非常大时，能将某些计算的结果进行缓存就显得很方便了。Spark提供了两种缓存的方法 Cache 和 checkPoint。本章只关注 Cache 基于spark core . ，在后续的章节中会提到 checkPoint. 主要从以下三方面来看 persist时发生什么 执行action时如何去缓存及读取缓存 如 ...
2016-07-07 17:28 0 5315 推荐指数：
相关推荐
UNIMRCP 代码走读
基于UNIMRCP1.5.0的代码走读 与 填坑记录 1. server启动配置加载 入口：unimrcp_server.c static apt_bool_t unimrcp_server_load(mrcp_server_t *mrcp_server ...
Apache Spark源码走读之8 -- Spark on Yarn
欢迎转载，转载请注明出处，徽沪一郎。 概要 Hadoop2中的Yarn是一个分布式计算资源的管理平台，由于其有极好的模型抽象，非常有可能成为分布式计算资源管理的事实标准。其主要职责将是分布式计算集群的管理，集群中计算资源的管理与分配。 Yarn为应用程序开发提供了比较好的实现标准，Spark ...
Apache Spark源码走读之9 -- Spark源码编译
欢迎转载，转载请注明出处，徽沪一郎。 概要 本来源码编译没有什么可说的，对于java项目来说，只要会点maven或ant的简单命令，依葫芦画瓢，一下子就ok了。但到了Spark上面，事情似乎不这么简单，按照spark officical document上的来做，总会出现这样或那样的编译 ...
WebRTC代码走读（八）：代码目录结构
转载注明出处http://blog.csdn.net/wanghorse ├── ./base //基础平台库，包括线程、锁、socket等 ├── ./build //编译脚本， ...
spring-data-redis-cache 使用及源码走读
spring-data-redis-cache 使用及源码走读 2019-10-13 17:18:41 $9420 阅读数 13更多 分类专栏： java 版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA ...
Apache Spark源码走读之1 -- Spark论文阅读笔记
欢迎转载，转载请注明出处，徽沪一郎。 楔子 源码阅读是一件非常容易的事，也是一件非常难的事。容易的是代码就在那里，一打开就可以看到。难的是要通过代码明白作者当初为什么要这样设计，设计之初要解决的主要问题是什么。 在对Spark的源码进行具体的走读之前，如果想要快速对Spark的有一个整体性 ...
Apache Spark源码走读之13 -- hiveql on spark实现详解
欢迎转载，转载请注明出处，徽沪一郎 概要 在新近发布的spark 1.0中新加了sql的模块，更为引人注意的是对hive中的hiveql也提供了良好的支持，作为一个源码分析控，了解一下spark是如何完成对hql的支持是一件非常有趣的事情。 Hive简介 Hive的由来 以下部分摘自 ...