繼續SparkStreaming整合Kafka 其實將offset保存在zookeeper上不適用於高並發的情況的，於是乎，借鑒上次的代碼。將offset保存在Hbasea上的方法也大概寫了一下，暫時運行起來是沒有問題的。 直接上代碼（代碼比較粗糙，但是思路應該還算 ...

先來一段到處都有的原理（出處到處都有，就不注明了） Streaming和Kafka整合有兩種方式--Receiver和Direct，簡單理解為：Receiver方式是通過zookeeper來連接kafka隊列，Direct方式是直接連接到kafka的節點上獲取數據 Receiver ...

kafka log保存在本機的位置 kafka數據保存的位置 要查看kafka log保存的位置，可以打開kafka安裝路徑下的config文件夾( kafka_2.13-2.5.0\config) , 然后打開server.properties查看 log.dirs 默認 ...

要查看kafka log保存的位置，可以打開kafka安裝路徑下的config文件夾( kafka_2.13-2.5.0\config) , 然后打開server.properties查看 log.dirs 默認位置是 log.dirs=/tmp/kafka-logs，這個路徑 ...

轉載人找不到出處了，尷尬 😱 ...

一、概述 上次寫這篇文章文章的時候，Spark還是1.x，kafka還是0.8x版本，轉眼間spark到了2.x，kafka也到了2.x，存儲offset的方式也發生了改變，筆者根據上篇文章和網上文章，將offset存儲到Redis，既保證了並發也保證了數據不丟失，經過測試，有效 ...

spark streaming 讀取kafka topic上json格式數據，存儲為parquet文件；使用redis存儲offset；因為是將數據存儲下來，沒能使用事務，本文不能實現exactly once語義；基於冪等的角度，可以考慮數據設置唯一標志，進行merge去重，來實現 ...

current session '146785369381863503' (kafka.zk.Kafk ...