Spark SQL编程指南（Python）
前言 Spark SQL允许我们在Spark环境中使用SQL或者Hive SQL执行关系型查询。它的核心是一个特殊类型的Spark RDD：SchemaRDD。 SchemaRDD类似于传统关系型数据库的一张表，由两部分 ...
原文：Spark(1.6.1) Sql 编程指南+实战案例分析
首先看看从官网学习后总结的一个思维导图 概述 Overview Spark SQL是Spark的一个模块，用于结构化数据处理。它提供了一个编程的抽象被称为DataFrames，也可以作为分布式SQL查询引擎。 开始Spark SQL Spark SQL中所有功能的入口点是SQLContext类，或者它子类中的一个。为了创建一个基本的SQLContext，你所需要的是一个SparkContext。 ...
2017-11-08 14:23 0 1704 推荐指数：
相关推荐
《Spark 官方文档》Spark SQL, DataFrames 以及 Datasets 编程指南
JSON数据集 Scala Java Python R Sql Spark SQL在加载JSON数据的时候，可以自动推导其schema并返回DataFrame。用SQLContext.read.json读取一个包含String的RDD ...
Spark Streaming编程指南
Overview A Quick Example Basic Concepts Linking Initializing StreamingContext ...
Flink SQL 核心概念剖析与编程案例实战
本次，我们从 0 开始逐步剖析 Flink SQL 的来龙去脉以及核心概念，并附带完整的示例程序，希望对大家有帮助！ 本文大纲 一、快速体验 Flink SQL 为了快速搭建环境体验 Flink SQL，我们使用 Docker 来安装一些基础组件，包括 zk 和 kafka，如果你有这 ...
spark学习（RDD案例实战）
练习0（并行化创建RDD） 练习1（map，filter） 练习2（map和flatMap） 练习3（union，intersecttion，distinct） 练习4（sor ...
大数据实战手册-开发篇之spark实战案例：实时日志分析
2.6 spark实战案例：实时日志分析 2.6.1 交互流程图 2.6.2 客户端监听器（java） 2.6.3 sparkStream实时数据接收（python） 2.6.4 sparklSQL、RDD结算、结构化搜索 ...
MongoDB Spark Connector 实战指南
Why Spark with MongoDB? 高性能，官方号称 100x faster，因为可以全内存运行，性能提升肯定是很明显的 简单易用，支持 Java、Python、Scala、SQL 等多种语言，使得构建分析应用非常简单 统一构建 ，支持多种数据源，通过 Spark ...
Spark Streaming 编程入门指南
Spark Streaming 是核心Spark API的扩展，可实现实时数据流的可伸缩，高吞吐量，容错流处理。可以从许多数据源（例如Kafka，Flume，Kinesis或TCP sockets）中提取数据，并且可以使用复杂的算法处理数据，这些算法用高级函数表示，如map、reduce、join ...