大数据基础---SparkSQL外部数据源
一、简介 1.1 多数据源支持 Spark 支持以下六个核心数据源，同时 Spark 社区还提供了多达上百种数据源的读取方式，能够满足绝大部分使用场景。 CSV JSON Parquet ORC JDBC/ODBC connections Plain-text ...
原文：大数据基础---SparkSQL_Dataset和DataFrame简介
一 Spark SQL简介 Spark SQL 是 Spark 中的一个子模块，主要用于操作结构化数据。它具有以下特点： 能够将 SQL 查询与 Spark 程序无缝混合，允许您使用 SQL 或 DataFrame API 对结构化数据进行查询 支持多种开发语言 支持多达上百种的外部数据源，包括 Hive，Avro，Parquet，ORC，JSON 和 JDBC 等 支持 HiveQL 语法以及 ...
2020-06-26 10:54 0 617 推荐指数：
相关推荐
大数据基础---SparkSQL常用聚合函数
一、简单聚合 1.1 数据准备 注：emp.json 可以从本仓库的resources 目录下载。 1.2 count 1.3 countDistinct 1.4 approx_count_distinct 通常在使用大型数据集时，你可能关注的只是近似值而不是准确 ...
大数据基础---流式计算简介
1.流式计算是什么? 流式计算是相对于批处理来说的，我们以前学的Mapreduce就是批处理，它属于离线计算，计算的数据都是过去某个时间点的，还有我们开发的软件管理系统，查询的也是过去某个时刻录入的数据。那么流式计算呢，它是在输入录入的时候就开始计算了，而且计算的速度还很快，可以达到毫秒级，计算 ...
SparkSQL学习案例:使用DataFrame和Dataset操作json数据
一、测试数据集(奥特曼.json) 二、源代码及代码分析 相关的细节 (1)28行的$"address" === Array("M78")是SQLContext中的判断表达式，"==="是Column类中的一个方法，这个表达式也可以写成 ...
大数据简介
FusionInsight大数据开发 FusionInsight HD是一个大数据全栈商用平台，支持各种通用大数据应用场景。 技能需求 扎实的编程基础 Java/Scala/python/SQL/shell常见命令 掌握FusionInsight 熟悉业务开发 大数据 ...
【大数据】SparkSql学习笔记
第1章 Spark SQL概述 1.1 什么是Spark SQL Spark SQL是Spark用来处理结构化数据的一个模块，它提供了2个编程抽象：DataFrame和 DataSet，并且作为分布式SQL查询引擎的作用。 我们已经学习了Hive，它是将Hive SQL转换成 ...
6大数据实战系列-sparkSql实战
sparkSql两个最重要的类SqlContext、DataFrame，DataFrame功能强大，能够与rdd互转换、支持sql操作如sql().where.order.join.groupBy.limit等。 SparkSql的查询响应性能是hive的几何级倍数 ...
【原创】大数据基础之Drill（1）简介、安装及使用
https://drill.apache.org/ 一 简介 Drill is an Apache open-source SQL query engine for Big Data exploration. Drill is designed from the ground ...