大数据Spark+Kafka实时数据分析案例
本案例利用Spark+Kafka实时分析男女生每秒购物人数，利用Spark Streaming实时处理用户购物日志，然后利用websocket将数据实时推送给浏览器，最后浏览器将接收到的数据实时展现，案例的整体框架图如下： 下面分析详细分析下上述步骤： 应用程序将购物日志 ...
原文：中国移动实时数据分析-基于spark+kafka+flume
这两天主要是做了中国移动的实时数据分析一个小项目 可以说是demo了 ，这里记录下来整个过程里面遇到的坑，首先安装好flume，kafka，spark 基于代码本地运行可以不安装 ，redis，zookeeper 主要是为了熟悉一下整个的一个spark streaming的一个整个流程，还有就是了解调优的地方。 上述假设已经安装好了相应的组件，然后就开始正式的踩坑之路: .编写一个java程序去 ...
2019-03-25 20:14 0 527 推荐指数：
相关推荐
大数据实战项目--中国移动运行分析
大数据实战项目--中国移动运行分析 置顶 2018年10月24日 14:13:07 俊杰梓 阅读数：3666 ...
和中国移动对接短信平台
项目需求 2017年4月12日，正式收到领导通知打算和中国移动对接短信平台，要做的项目当然就是给人发短信，这个短信平台和第三方提供的短信接口不同，这个平台可以二次开发，别人收到短信进行回复的话，我这边可以在数据库中收到相关数据。 开始对接 从4月12日开始，领导给我中国移动客户经理的电话 ...
Flume和Kafka完成实时数据的采集
Flume和Kafka完成实时数据的采集 写在前面 Flume和Kafka在生产环境中，一般都是结合起来使用的。可以使用它们两者结合起来收集实时产生日志信息，这一点是很重要的。如果，你不了解flume和kafka，你可以先查看我写的关于那两部分的知识。再来学习，这部分的操作，也是可以的。 实时数据 ...
python爬虫等获取实时数据+Flume+Kafka+Spark Streaming+mysql+Echarts实现数据动态实时采集、分析、展示
使用爬虫等获取实时数据+Flume+Kafka+Spark Streaming+mysql+Echarts实现数据动态实时采集、分析、展示 【获取完整源码关注公众号：靠谱杨阅读人生 回复kafka获取下载链接】 主要工作流程如下所示： 模拟随机数据，把数据实时传输到Linux虚拟机文件中 ...
中国移动网站控件引发的蓝屏问题分析
本周四（2月23日），我接到了我们同事的一个奇怪的蓝屏case，据他回忆，他最近没有安装任何软件和驱动，也没有更改计算机的硬件配置，除了Windows后台进行的自动更新之外，他实在想不起来到底对计算机 ...
中国移动OneNet平台上传GPS数据JSON格式
最终目的输出 1. 使用arduino代码组合出来HTTP头 使用OneNet官方提供的Httppacket库 2.使用JSON库合成JSON数据 串口输出效果 3. 综合HTTP头和JSON输出需要的POST请求 成功输出 ...