原文:Spark SQL笔记——技术点汇总

目录 概述 原理 组成 执行流程 性能 API 应用程序模板 通用读写方法 RDD转为DataFrame Parquet文件数据源 JSON文件数据源 Hive数据源 数据库JDBC数据源 DataFrame Operation 性能调优 缓存数据 参数调优 案例 数据准备 查询部门职工数 查询各部门职工工资总数,并排序 查询各部门职工考勤信息 概述 . SparkSQL是Spark的结构化数据处 ...

2017-07-31 09:02 0 8948 推荐指数:

查看详情

Spark笔记——技术汇总

目录 · 概况 · 手工搭建集群 · 引言 · 安装Scala · 配置文件 · 启动与测试 · 应用部署 · 部署架构 · 应用程序 ...

Wed Aug 02 16:59:00 CST 2017 2 1255
Netty笔记——技术汇总

目录 · Linux网络IO模型 · 文件描述符 · 阻塞IO模型 · 非阻塞IO模型 · IO复用模型 · 信号驱动IO模型 · 异步I ...

Mon Aug 21 17:00:00 CST 2017 1 1185
ZooKeeper笔记——技术汇总

目录 · ZooKeeper安装 · 分布式一致性理论 · 一致性级别 · 集中式系统 · 分布式系统 · ACID特性 · CAP理论 ...

Thu Aug 10 17:02:00 CST 2017 1 1923
Hive笔记——技术汇总

目录 · 概况 · 手工安装 · 引言 · 创建HDFS目录 · 创建元数据库 · 配置文件 · 测试 · 原理 · 架构 ...

Tue Aug 01 17:02:00 CST 2017 0 4022
Redis笔记——技术汇总

目录 · 特点 · 安装 · 数据库 · 服务器命令 · 数据类型及其操作命令 · 数据结构 · string · list · set · ...

Mon Aug 28 17:03:00 CST 2017 5 2007
JVM笔记——技术汇总

目录 · 初步认识 · Java里程碑(关键部分) · 理解虚拟机 · Java虚拟机种类 · Java语言规范 · Java虚拟机规范 · 基本 ...

Mon Aug 14 17:04:00 CST 2017 1 1134
Spark SQL 笔记

Spark SQL 简介 SparkSQL 的前身是 Shark, SparkSQL 产生的根本原因是其完全脱离了 Hive 的限制。(Shark 底层依赖于 Hive 的解析器, 查询优化器) SparkSQL 支持查询原生的 RDD ...

Tue Oct 29 05:13:00 CST 2019 0 314
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM