當我們正確地部署好Spark Streaming，我們就可以使用Spark Streaming提供的零數據丟失機制。為了體驗這個關鍵的特性，你需要滿足以下幾個先決條件：　　1、輸入的數據來自可靠的數據源和可靠的接收器；　　2、應用程序的metadata被application的driver持久化了 ...

使用場景 Spark Streaming實時消費kafka數據的時候，程序停止或者Kafka節點掛掉會導致數據丟失，Spark Streaming也沒有設置CheckPoint（據說比較雞肋，雖然可以保存Direct方式的offset，但是可能會導致頻繁寫HDFS占用IO），所以每次出現問題 ...

使用場景 Spark Streaming實時消費kafka數據的時候，程序停止或者Kafka節點掛掉會導致數據丟失，Spark Streaming也沒有設置CheckPoint（據說比較雞肋，雖然可以保存Direct方式的offset，但是可能會導致頻繁寫HDFS占用IO ...

Kafka如何保證數據不丟失 1.生產者數據的不丟失 kafka的ack機制：在kafka發送數據的時候，每次發送消息都會有一個確認反饋機制，確保消息正常的能夠被收到，其中狀態有0,1，-1。 如果是同步模式：ack機制能夠保證數據的不丟失，如果ack設置為0，風險很大，一般不建議設置 ...

一般我們在用到這種消息中件的時候，肯定會考慮要怎樣才能保證數據不丟失，在面試中也會問到相關的問題。但凡遇到這種問題，是指3個方面的數據不丟失，即：producer consumer 端數據不丟失 broker端數據不丟失下面我們分別從這三個方面來學習，kafka是如何保證數據不丟失 ...

一般我們在用到這種消息中件的時候，肯定會考慮要怎樣才能保證數據不丟失，在面試中也會問到相關的問題。但凡遇到這種問題，是指3個方面的數據不丟失，即：producer consumer 端數據不丟失 broker端數據不丟失下面我們分別從這三個方面來學習，kafka是如何保證數據不丟失 ...

一、概述 上次寫這篇文章文章的時候，Spark還是1.x，kafka還是0.8x版本，轉眼間spark到了2.x，kafka也到了2.x，存儲offset的方式也發生了改變，筆者根據上篇文章和網上文章，將offset存儲到Redis，既保證了並發也保證了數據不丟失，經過測試，有效 ...

在Kafka、Flink、Spark Streaming等分布式流處理系統中（Kafka本質上市流處理系統，不單是MQ），存在三種消息傳遞語義（Message Delivery Semantics）： At Least Once 每條消息會被收到1次或多次。例如發送方S在超時 ...