上篇描述的kafka案例是個庫存管理平台。是一個公共服務平台，為其它軟件模塊或第三方軟件提供庫存狀態管理服務。當然，平台管理的目標必須是共享的，即庫存是作為公共資源開放的。這個庫存管理平台是一個Kafka消費端獨立運行的軟件。kafka的生產方即平台的服務對象通過kafka生產端 ...

alpakka項目是一個基於akka-streams流處理編程工具的scala/java開源項目，通過提供connector連接各種數據源並在akka-streams里進行數據處理。alpakka-kafka就是alpakka項目里的kafka-connector。對於我們來說：可以用 ...

了解了kafka原理之后，對kafka的的應用場景有了一些想法。在下面的一系列討論中把最近一個項目中關於kafka的應用介紹一下。 先介紹一下使用kafka的起因：任何進銷存系統，銷售開單部分都應該算是主體部分了。簡單的說，這是一個包括銷售數據錄入、庫存數扣減兩個動作的過程。銷售項目 ...

在進入具體的kafka應用設計之前我們先把kafka集群環境配置介紹一下。多節點kafka-cluster的安裝、配置非常簡單，所以應該不用太多篇幅就可以完成一個完整可用的kafka-cluster環境了： 1、安裝Kafka之前需要安裝zookeeper。無論zookeeper或者kafka ...

近段時間學習極客時間李玥老師的后端存儲實戰課時，看到一個很多意思的東西：用kafka存儲點擊流的數據，並重復處理。在以往的使用中，kafka只是一個消息傳輸的載體，消息被消費后就不能再次消費。新知識與印象相沖突，於是就有了本篇文章：kafka數據如何被重復消費。 前期理論了解 首先我先去官網 ...

從頭消費數據需滿足兩個條件： 1. groupid為新的 2. auto_offset_reset_config的值為earliest Properties p = new Properties(); p.put ...

一、如何查看 在老版本中，使用kafka-run-class.sh 腳本進行查看。但是對於最新版本，kafka-run-class.sh 已經不能使用，必須使用另外一個腳本才行，它就是kafka-consumer-groups.sh 普通版 查看所有組 要想查詢消費數據，必須要指定組 ...

單線程消費 以之前生產者中的代碼為例，事先准備好了一個 Topic:data-push，3個分區。 先往里邊發送 100 條消息，沒有自定義路由策略，所以消息會均勻的發往三個分區。 先來談談最簡單的單線程消費，如下圖所示： 由於數據散列在三個不同分區，所以單個線程需要遍歷三個分區將數據 ...