最近在研究Zookeeper Storm Kafka, 顺便在本地搭了一套集群, 遇到了Zookeeper日志问题输出路径的问题, 发现zookeeper设置log4j.properties不能解决日 ...

本文为 Dennis Gao 原创技术文章，发表于博客园博客，未经作者本人允许禁止任何形式的转载。 许久以前写了篇文章《基于.NET打造IP智能网络视频监控系统》，记录和介绍了自己几年来积累和演练的 ...

Spark Streaming揭秘 Day29 深入理解Spark2.x中的Structured Streaming 在Spark2.x中，Spark Streaming获得了比较全面的升级，称为 ...

Spark Streaming揭秘 Day33 checkpoint的使用 今天谈下sparkstreaming中，另外一个至关重要的内容Checkpoint。 首先，我们会看下checkpoin ...

最近公司的zk的down掉了, storm job 重启的时候报出 kafka.common.OffsetOutOfRangeException 异常 网上查询了一些朋友的做法, 自己也看了一下代码 ...

使用https://github.com/nathanmarz/storm-contrib来对接Kafka0.7.2时, 发现kafkaSpout总会进行数据重读, 配置都无问题, 也没报错 进行d ...

本文是翻译作品，作者是Piotr Nowojski和Michael Winters。前者是该方案的实现者。 原文地址是https://data-artisans.com/blog/end-to-en ...

Spark Streaming揭秘 Day18 空RDD判断及程序中止机制 空RDD的处理 从API我们可以知道在SparkStreaming中，对于RDD的操作一般都是在foreachRDD和 ...

开宗明义！本文根据Google Beam大神Tyler Akidau的系列文章《The world beyond batch: Streaming 101》(批处理之外的流式世界)整理而成， 主要讨论 ...

Spark2.11 两种流操作 + Kafka Spark2.x 自从引入了 Structured Streaming 后，未来数据操 ...