Spark源码系列（十）spark源码解析大全
第1章 Spark 整体概述 1.1 整体概念 Apache Spark 是一个开源的通用集群计算系统，它提供了 High-level 编程 API，支持 Scala、Java 和 Python 三种编程语言 ...
原文：Spark之SQL解析（源码阅读十）
如何能更好的运用与监控sparkSQL 或许我们改更深层次的了解它深层次的原理是什么。之前总结的已经写了传统数据库与Spark的sql解析之间的差别。那么我们下来直切主题 如今的Spark已经支持多种多样的数据源的查询与加载，兼容了Hive,可用JDBC的方式或者ODBC来连接Spark SQL。下图为官网给出的架构.那么sparkSql呢可以重用Hive本身提供的元数据仓库 MetaStore ...
2016-11-27 14:55 0 3550 推荐指数：
相关推荐
Spark SQL源码解析（三）Analysis阶段分析
Spark SQL原理解析前言： Spark SQL源码剖析（一）SQL解析框架Catalyst流程概述 Spark SQL源码解析（二）Antlr4解析Sql并生成树 Analysis阶段概述 首先，这里需要引入一个新概念，前面介绍SQL parse阶段，会使用antlr4，将一条SQL ...
Spark SQL源码解析（四）Optimization和Physical Planning阶段解析
Spark SQL原理解析前言： Spark SQL源码剖析（一）SQL解析框架Catalyst流程概述 Spark SQL源码解析（二）Antlr4解析Sql并生成树 Spark SQL源码解析（三）Analysis阶段分析 前面已经介绍了SQL parse，将一条SQL语句使用 ...
Spark SQL源码剖析（一）SQL解析框架Catalyst流程概述
Spark SQL模块，主要就是处理跟SQL解析相关的一些内容，说得更通俗点就是怎么把一个SQL语句解析成Dataframe或者说RDD的任务。以Spark 2.4.3为例，Spark SQL这个大模块分为三个子模块，如下图所示 其中Catalyst可以说是Spark内部专门用来解析SQL ...
Spring源码解析——如何阅读源码
最近没什么实质性的工作，正好有点时间，就想学学别人的代码。也看过一点源码，算是有了点阅读的经验，于是下定决心看下spring这种大型的项目的源码，学学它的设计思想。 手码不易，转载请注明：xingoo 这篇博文你可以了解到： 1 Spring jar包以及源码使用 ...
Spring源码解析——如何阅读源码
最近没什么实质性的工作，正好有点时间，就想学学别人的代码。也看过一点源码，算是有了点阅读的经验，于是下定决心看下spring这种大型的项目的源码，学学它的设计思想。 手码不易，转载请注明：xingoo 这篇博文你可以了解到： 1 Spring jar包以及源码使用 ...
Spring源码解析——如何阅读源码
最近没什么实质性的工作，正好有点时间，就想学学别人的代码。也看过一点源码，算是有了点阅读的经验，于是下定决心看下spring这种大型的项目的源码，学学它的设计思想。 手码不易，转载请注明：xingoo 这篇博文你可以了解到： 1 Spring jar ...
Spark SQL源码解析（五）SparkPlan准备和执行阶段
Spark SQL原理解析前言： Spark SQL源码剖析（一）SQL解析框架Catalyst流程概述 Spark SQL源码解析（二）Antlr4解析Sql并生成树 Spark SQL源码解析（三）Analysis阶段分析 Spark SQL源码解析（四）Optimization ...