离线和实时大数据开发实战
离线和实时大数据开发实战 目 录 前言 第一篇 数据大图和数据平台大图 第1章 数据大图 2 1.1 数据流程 2 1.1.1 数据产生 3 1.1.2 数据采集和传输 5 1.1.3 数据存储处理 6 1.1.4 数据应用 7 1.2 数据技术 8 1.2.1 数据采集传输 ...
原文：大数据实战手册-开发篇之spark实战案例：实时日志分析
. spark实战案例：实时日志分析 . . 交互流程图 . . 客户端监听器 java . . sparkStream实时数据接收 python . . sparklSQL RDD结算 结构化搜索 结构存储mongoDB python 备注：需要完整代码请联系作者 狼 ...
2019-02-13 14:45 0 668 推荐指数：
相关推荐
大数据开发实战：Stream SQL实时开发一
1、流计算SQL原理和架构 流计算SQL通常是一个类SQL的声明式语言，主要用于对流式数据(Streams)的持续性查询，目的是在常见流计算平台和框架（如Storm、Spark Streaming、Flink、Beam等）的底层API上， 通过使用简易通用的的SQL语言构建 ...
大数据开发-Spark-RDD实操案例-http日志分析
1.在生产环境下，如何处理配置文件 && 表的数据处理 配置文件，或者配置表，一般是放在在线db，比如mysql等关系型数据库，或者后台rd直接丢给你一份文件，数据量比起整个离线数据仓库的大表来说算很小，所以这种情况下，一般的做法是将小表，或者小文件广播出去，那么下面一个 ...
大数据开发实战：Spark Streaming流计算开发
1、背景介绍 Storm以及离线数据平台的MapReduce和Hive构成了Hadoop生态对实时和离线数据处理的一套完整处理解决方案。除了此套解决方案之外，还有一种非常流行的而且完整的离线和 实时数据处理方案。这种方案就是Spark。Spark本质上是对Hadoop ...
5 大数据实战-hive实战分析
1 内部表 Show databses; Use hive_data; 1.1 创建内部表 CREATE TABLE SOGOUQ2(DT STRIN ...
Azure HDInsight 和 Spark 大数据实战(一)
What is HDInsight? Microsoft Azure HDInsight 是基于 Hortonoworks Data Platform (HDP) 的 Hadoop 集群，包括St ...
大数据开发实战：HDFS和MapReduce优缺点分析
一、 HDFS和MapReduce优缺点 1、HDFS的优势 HDFS的英文全称是 Hadoop Distributed File System，即Hadoop分布式文件系统， ...
大数据Spark+Kafka实时数据分析案例
本案例利用Spark+Kafka实时分析男女生每秒购物人数，利用Spark Streaming实时处理用户购物日志，然后利用websocket将数据实时推送给浏览器，最后浏览器将接收到的数据实时展现，案例的整体框架图如下： 下面分析详细分析下上述步骤： 应用程序将购物日志 ...