，org.apache.spark.sql.SparkSession.Builder#getOrCreate 代码如下： 　　 org.apac ...

欢迎转载，转载请注明出处，徽沪一郎，谢谢。 在流数据的处理过程中，为了保证处理结果的可信度(不能多算，也不能漏算)，需要做到对所有的输入数据有且仅有一次处理。在Spark Streaming的处理机制中，不能多算，比较容易理解。那么它又是如何作到即使数据处理结点被重启，在重启之后这些数据也会被 ...

欢迎转载，转载请注明出处，徽沪一郎。 概要 本来源码编译没有什么可说的，对于java项目来说，只要会点maven或ant的简单命令，依葫芦画瓢，一下子就ok了。但到了Spark上面，事情似乎不这么简单，按照spark officical document上的来做，总会出现这样或那样的编译 ...

欢迎转载，转载请注明出处，徽沪一郎。 楔子 Spark计算速度远胜于Hadoop的原因之一就在于中间结果是缓存在内存而不是直接写入到disk，本文尝试分析Spark中存储子系统的构成，并以数据写入和数据读取为例，讲述清楚存储子系统中各部件的交互关系。 存储子系统概览 上图是Spark ...

欢迎转载，转载请注明出处，徽沪一郎。 楔子 在Spark源码走读系列之2中曾经提到Spark能以Standalone的方式来运行cluster，但没有对Application的提交与具体运行流程做详细的分析，本文就这些问题做一个比较详细的分析，并且对在standalone模式下如何实现HA进行 ...

模型，Spark Streaming系统的初始化过程，以及当接收到外部数据时后续的处理步骤。 系统概述 ...

ABP在初始化阶段做了哪些操作，前面的四篇文章大致描述了一下。 为个更清楚的描述其脉络，做了张流程图以辅助说明。其中每一步都涉及很多细节，难以在一张图中全部表现出来。每一步的细节（会涉及到较多接口，类，调用关系，步骤流程什么的）会在后面的文章中通过其他图和文字详细描述。其实如果仔细分析Abp原代码 ...

支持Yarn部署，本文将就Spark如何实现在Yarn平台上的部署作比较详尽的分析。 Spark S ...