最近在研究Zookeeper Storm Kafka, 順便在本地搭了一套集群, 遇到了Zookeeper日志問題輸出路徑的問題, 發現zookeeper設置log4j.properties不能解決日 ...

本文為 Dennis Gao 原創技術文章，發表於博客園博客，未經作者本人允許禁止任何形式的轉載。 許久以前寫了篇文章《基於.NET打造IP智能網絡視頻監控系統》，記錄和介紹了自己幾年來積累和演練的 ...

Spark Streaming揭秘 Day29 深入理解Spark2.x中的Structured Streaming 在Spark2.x中，Spark Streaming獲得了比較全面的升級，稱為 ...

Spark Streaming揭秘 Day33 checkpoint的使用 今天談下sparkstreaming中，另外一個至關重要的內容Checkpoint。 首先，我們會看下checkpoin ...

最近公司的zk的down掉了, storm job 重啟的時候報出 kafka.common.OffsetOutOfRangeException 異常 網上查詢了一些朋友的做法, 自己也看了一下代碼 ...

使用https://github.com/nathanmarz/storm-contrib來對接Kafka0.7.2時, 發現kafkaSpout總會進行數據重讀, 配置都無問題, 也沒報錯 進行d ...

本文是翻譯作品，作者是Piotr Nowojski和Michael Winters。前者是該方案的實現者。 原文地址是https://data-artisans.com/blog/end-to-en ...

Spark Streaming揭秘 Day18 空RDD判斷及程序中止機制 空RDD的處理 從API我們可以知道在SparkStreaming中，對於RDD的操作一般都是在foreachRDD和 ...

開宗明義！本文根據Google Beam大神Tyler Akidau的系列文章《The world beyond batch: Streaming 101》(批處理之外的流式世界)整理而成， 主要討論 ...

Spark2.11 兩種流操作 + Kafka Spark2.x 自從引入了 Structured Streaming 后，未來數據操 ...