使用場景 Spark Streaming實時消費kafka數據的時候，程序停止或者Kafka節點掛掉會導致數據丟失，Spark Streaming也沒有設置CheckPoint（據說比較雞肋，雖然可以保存Direct方式的offset，但是可能會導致頻繁寫HDFS占用IO），所以每次出現問題 ...

一、概述 上次寫這篇文章文章的時候，Spark還是1.x，kafka還是0.8x版本，轉眼間spark到了2.x，kafka也到了2.x，存儲offset的方式也發生了改變，筆者根據上篇文章和網上文章，將offset存儲到Redis，既保證了並發也保證了數據不丟失，經過測試，有效 ...

Receiver是使用Kafka的高層次Consumer API來實現的。 Receiver從Kafka中獲取的數據都是存儲在Spark Executor的內存中的，然后Spark Streaming啟動的job會去處理那些數據。 然而，在默認的配置下，這種方式可能會 ...

簡單理解為：Receiver方式是通過zookeeper來連接kafka隊列，Direct方式是直接連接到kafka的節點上獲取數據 Receiver 使用Kafka的高層次Consumer API來實現。receiver從Kafka中獲取的數據都存儲在Spark Executor的內存中 ...

源文件放在github，隨着理解的深入，不斷更新，如有謬誤之處，歡迎指正。原文鏈接https://github.com/jacksu/utils4s/blob/master/spark-knowledge/md/spark_streaming使用kafka保證數據零丟失.md spark ...

當我們正確地部署好Spark Streaming，我們就可以使用Spark Streaming提供的零數據丟失機制。為了體驗這個關鍵的特性，你需要滿足以下幾個先決條件：　　1、輸入的數據來自可靠的數據源和可靠的接收器；　　2、應用程序的metadata被application的driver持久化了 ...

spark streaming是以batch的方式來消費，strom是准實時一條一條的消費。當然也可以使用trident和tick的方式來實現batch消費(官方叫做mini batch)。效率嘛，有待驗證。不過這兩種方式都是先把數據從kafka中讀取出來，然后緩存在內存或者第三方，再定時處理 ...

重復這個實驗的注意事項 1.首先要知道自己topic ,分區數,checkpoint的文件夾 bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor ...