离线和实时大数据开发实战
离线和实时大数据开发实战 目 录 前言 第一篇 数据大图和数据平台大图 第1章 数据大图 2 1.1 数据流程 2 1.1.1 数据产生 3 1.1.2 数据采集和传输 5 1.1.3 数据存储处理 6 1.1.4 数据应用 7 1.2 数据技术 8 1.2.1 数据采集传输 ...
原文：大数据开发实战：Stream SQL实时开发一
流计算SQL原理和架构 流计算SQL通常是一个类SQL的声明式语言，主要用于对流式数据 Streams 的持续性查询，目的是在常见流计算平台和框架 如Storm Spark Streaming Flink Beam等 的底层API上， 通过使用简易通用的的SQL语言构建SQL抽象层，降低实时开发的门槛。 流计算SQL的原理其实很简单，就是在SQL和底层的流计算引擎之间架起一座桥梁 流计算SQL被 ...
2018-09-05 11:22 0 3820 推荐指数：
相关推荐
大数据实战手册-开发篇之spark实战案例：实时日志分析
2.6 spark实战案例：实时日志分析 2.6.1 交互流程图 2.6.2 客户端监听器（java） 2.6.3 sparkStream实时数据接收（python） 2.6.4 sparklSQL、RDD结算、结构化搜索 ...
大数据开发实战：实时数据平台和流计算
1、实时数据平台整体架构 实时数据平台的支撑技术主要包含四个方面：实时数据采集（如Flume）,消息中间件（如Kafka）, 流计算框架（如Storm, Spark, Flink和Beam），以及数据实时存储（如列族存储的HBase） 实时数据平台最为核心的技术 ...
大数据开发实战：离线大数据处理的主要技术--Hive,概念，SQL，Hive数据库
1、Hive出现背景 Hive是Facebook开发并贡献给Hadoop开源社区的。它是建立在Hadoop体系架构上的一层SQL抽象，使得数据相关人员使用他们最为熟悉的SQL语言就可以进行海量数据的处理、分析和统计工作， 而不是必须掌握Java等编程语言和具备开发 ...
大数据开发实战：Storm流计算开发
Storm是一个分布式、高容错、高可靠性的实时计算系统，它对于实时计算的意义相当于Hadoop对于批处理的意义。Hadoop提供了Map和Reduce原语。同样，Storm也对数据的实时处理提供了简单的 spout和bolt原语。Storm集群表面上看和Hadoop集群 ...
大数据开发实战：Spark Streaming流计算开发
1、背景介绍 Storm以及离线数据平台的MapReduce和Hive构成了Hadoop生态对实时和离线数据处理的一套完整处理解决方案。除了此套解决方案之外，还有一种非常流行的而且完整的离线和 实时数据处理方案。这种方案就是Spark。Spark本质上是对Hadoop ...
拼多多大数据开发工程师SQL实战解析
不久前，裸考国内知名电商平台拼多多的大数据岗位在线笔试，问答题（写SQL）被虐的很惨，完了下来默默学习一波。顺便借此机会复习一下SQL语句的用法。 本文主要涉及到的SQL知识点包括CREATE创建数据库和表、INSERT插入数据、SUM()求和、GROUP BY分组、DATE_FORMAT ...
大数据开发实战：数据仓库技术
1、OLTP和OLAP OLTP的全称是 Online Transaction Processing, OLTP主要用传统的关系型数据库来进行事务处理。OLTP最核心的需求是单条记录的高效快速处理，索引技术、 分库分表等最根本的诉求就是解决此问题 ...