继续SparkStreaming整合Kafka 其实将offset保存在zookeeper上不适用于高并发的情况的，于是乎，借鉴上次的代码。将offset保存在Hbasea上的方法也大概写了一下，暂时运行起来是没有问题的。 直接上代码（代码比较粗糙，但是思路应该还算 ...

先来一段到处都有的原理（出处到处都有，就不注明了） Streaming和Kafka整合有两种方式--Receiver和Direct，简单理解为：Receiver方式是通过zookeeper来连接kafka队列，Direct方式是直接连接到kafka的节点上获取数据 Receiver ...

kafka log保存在本机的位置 kafka数据保存的位置 要查看kafka log保存的位置，可以打开kafka安装路径下的config文件夹( kafka_2.13-2.5.0\config) , 然后打开server.properties查看 log.dirs 默认 ...

要查看kafka log保存的位置，可以打开kafka安装路径下的config文件夹( kafka_2.13-2.5.0\config) , 然后打开server.properties查看 log.dirs 默认位置是 log.dirs=/tmp/kafka-logs，这个路径 ...

转载人找不到出处了，尴尬 😱 ...

一、概述 上次写这篇文章文章的时候，Spark还是1.x，kafka还是0.8x版本，转眼间spark到了2.x，kafka也到了2.x，存储offset的方式也发生了改变，笔者根据上篇文章和网上文章，将offset存储到Redis，既保证了并发也保证了数据不丢失，经过测试，有效 ...

spark streaming 读取kafka topic上json格式数据，存储为parquet文件；使用redis存储offset；因为是将数据存储下来，没能使用事务，本文不能实现exactly once语义；基于幂等的角度，可以考虑数据设置唯一标志，进行merge去重，来实现 ...

current session '146785369381863503' (kafka.zk.Kafk ...