Spark源碼系列（十）spark源碼解析大全
第1章 Spark 整體概述 1.1 整體概念 Apache Spark 是一個開源的通用集群計算系統，它提供了 High-level 編程 API，支持 Scala、Java 和 Python 三種編程語言 ...
原文：Spark之SQL解析（源碼閱讀十）
如何能更好的運用與監控sparkSQL 或許我們改更深層次的了解它深層次的原理是什么。之前總結的已經寫了傳統數據庫與Spark的sql解析之間的差別。那么我們下來直切主題 如今的Spark已經支持多種多樣的數據源的查詢與加載，兼容了Hive,可用JDBC的方式或者ODBC來連接Spark SQL。下圖為官網給出的架構.那么sparkSql呢可以重用Hive本身提供的元數據倉庫 MetaStore ...
2016-11-27 14:55 0 3550 推薦指數：
相關推薦
Spark SQL源碼解析（三）Analysis階段分析
Spark SQL原理解析前言： Spark SQL源碼剖析（一）SQL解析框架Catalyst流程概述 Spark SQL源碼解析（二）Antlr4解析Sql並生成樹 Analysis階段概述 首先，這里需要引入一個新概念，前面介紹SQL parse階段，會使用antlr4，將一條SQL ...
Spark SQL源碼解析（四）Optimization和Physical Planning階段解析
Spark SQL原理解析前言： Spark SQL源碼剖析（一）SQL解析框架Catalyst流程概述 Spark SQL源碼解析（二）Antlr4解析Sql並生成樹 Spark SQL源碼解析（三）Analysis階段分析 前面已經介紹了SQL parse，將一條SQL語句使用 ...
Spark SQL源碼剖析（一）SQL解析框架Catalyst流程概述
Spark SQL模塊，主要就是處理跟SQL解析相關的一些內容，說得更通俗點就是怎么把一個SQL語句解析成Dataframe或者說RDD的任務。以Spark 2.4.3為例，Spark SQL這個大模塊分為三個子模塊，如下圖所示 其中Catalyst可以說是Spark內部專門用來解析SQL ...
Spring源碼解析——如何閱讀源碼
最近沒什么實質性的工作，正好有點時間，就想學學別人的代碼。也看過一點源碼，算是有了點閱讀的經驗，於是下定決心看下spring這種大型的項目的源碼，學學它的設計思想。 手碼不易，轉載請注明：xingoo 這篇博文你可以了解到： 1 Spring jar包以及源碼使用 ...
Spring源碼解析——如何閱讀源碼
最近沒什么實質性的工作，正好有點時間，就想學學別人的代碼。也看過一點源碼，算是有了點閱讀的經驗，於是下定決心看下spring這種大型的項目的源碼，學學它的設計思想。 手碼不易，轉載請注明：xingoo 這篇博文你可以了解到： 1 Spring jar包以及源碼使用 ...
Spring源碼解析——如何閱讀源碼
最近沒什么實質性的工作，正好有點時間，就想學學別人的代碼。也看過一點源碼，算是有了點閱讀的經驗，於是下定決心看下spring這種大型的項目的源碼，學學它的設計思想。 手碼不易，轉載請注明：xingoo 這篇博文你可以了解到： 1 Spring jar ...
Spark SQL源碼解析（五）SparkPlan准備和執行階段
Spark SQL原理解析前言： Spark SQL源碼剖析（一）SQL解析框架Catalyst流程概述 Spark SQL源碼解析（二）Antlr4解析Sql並生成樹 Spark SQL源碼解析（三）Analysis階段分析 Spark SQL源碼解析（四）Optimization ...