（1）在pom.xml中加入如下依赖包 （2）在MySql中创建数据库和表，命令操作如下 （3）使用Java编写一个数据库连接池类 ...

最近有个需求，实时统计pv,uv，结果按照date,hour,pv,uv来展示，按天统计，第二天重新统计，当然了实际还需要按照类型字段分类统计pv,uv,比如按照date,hour,pv,uv,typ ...

python代码： 执行SparkStreaming： spark/bin/spark-submit --jars spark-streaming-kafka-0-8-assembly_2.11-2.1.0.jar ReadFromKafkaStreaming.py ...

，SparkStreaming框架实时获取数据并清洗，将结果多维度的存储进HBase数据库。 整个平台大致的框架 ...

　　其实Rocketmq的给第三方的插件已经全了，如果大家有兴趣的话请移步https://github.com/apache/rocketmq-externals。本文主要是结合笔者已有的rmq在sp ...

SparkStreaming-Kafka集成 参考链接： Spark Streaming + Kafka Integration Guide 文章基本是官方的翻译， 最多再加入了一小部分自己的思考在内， 如果能看懂官方文档， 也可以自行查看官网。 另外就是提供了自己实现 ...

，sparkstreaming在线分析。 由于历史问题，spark还在用1.5.0，接口上和2.1还 ...

【调试背景】 目前测试kafka集群有两套，版本为 0.10.x。有一套是添加了Kerberos+Sentry认证，另一套没有添加。 现在需要通过sparkStreaming接入kafka做实时分析。 【总体结论】 实验1：1.6.x版本spark的jar包 ...

SparkStreaming动态读取配置文件 标签： SparkStreaming HDFS 配置文件 MySql 需求 要实现SparkStreaming在流处理过程中能动态的获取到配置文件的改变 并且能在不重启应用的情况下更新配置 配置文件大概一个月改动一次，所以不能太 ...

排查原因1： 　　1. 【不是】由于代码中checkpoint目录为本地导致，搭建了hdfs，将checkpoint移到hdfs，发现还是运行一天左右就挂掉 ...