摘要 如果要想真正的掌握sparkSQL编程，首先要对sparkSQL的整体框架以及sparkSQL到底能帮助我们解决什么问题有一个整体的认识，然后就是对各个层级关系有一个清晰的认识后，才能真正的掌握它，对于sparkSQL整体框架这一块，在前一个博客已经进行过了一些介绍 ...

首先我们的数据源如下： tbDate这张表记录的是时间信息； tbStockDetail这张表记录的订单的详细信息； tbStock这张表将订单与实践和地点两个维度的信息连接在一起。 ...

Spark详解(06) - SparkSQL Spark SQL概述 什么是Spark SQL Spark SQL是Spark用于结构化数据（Structured Data）处理的Spark模块。 （1）半结构化数据（日志数据）： 001 zhangsan 18 ...

sparkSql两个最重要的类SqlContext、DataFrame，DataFrame功能强大，能够与rdd互转换、支持sql操作如sql().where.order.join.groupBy.limit等。 SparkSql的查询响应性能是hive的几何级倍数 ...

【注】该系列文章以及使用到安装包/测试数据 可以在《倾情大奉送--Spark入门实战系列》获取 1、SparkSQL的发展历程 1.1 Hive and Shark SparkSQL的前身是Shark，给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具，Hive应运而生 ...

一：首先将我们从文本中读取的数据映射到表也就是视图 eg: 　　$>cat b.txt 　　1 ded　　2 dsfre　　3 sfs　　4 fr 　　$>val sc = ...

在之前的分享中，曾系统地介绍了Spark的基本原理和使用方式，感兴趣的可以翻看之前的分享文章。在本篇分享中，将介绍一个完整的项目案例，该案例会真实还原企业中SparkSQL的开发流程，手把手教你构建一个基于SparkSQL的分析系统。为了讲解方便，我会对代码进行拆解，完整的代码已上传 ...

这里的SparkSQL是指整合了Hive的spark-sql cli（关于SparkSQL和Hive的整合，见文章后面的参考阅读）. 本质上就是通过Hive访问HBase表，具体就是通过hive-hbase-handler . hadoop-2.3.0-cdh5.0.0 ...