Kafka是一個分布式、支持分區的（partition）、多副本的（replica），基於zookeeper協調的分布式消息系統，它的最大的特性就是可以實時的處理大量數據以滿足各種需求場景：比如基於hadoop的批處理系統、低延遲的實時系統、storm/Spark流式處理引擎，web/nginx ...

Seata介紹 Seata 是一款開源的分布式事務解決方案，致力於提供高性能和簡單易用的分布式事務服務。Seata 將為用戶提供了 AT、TCC、SAGA 和 XA 事務模式，為用戶打造一站式的分布式解決方案。 2019 年 1 月，阿里巴巴中間件團隊發起了開源項目 Fescar（Fast ...

基本架構 Kafka分布式消息隊列的作用： 解耦：將消息生產階段和處理階段拆分開，兩個階段互相獨立各自實現自己的處理邏輯，通過Kafka提供的消息寫入和消費接口實現對消息的連接處理。降低開發復雜度，提高系統穩定性。 高吞吐率：kafka通過順序讀寫磁盤提供可以和內存隨機讀寫相匹敵的讀寫速度 ...

提到Kafka很多人的第一印象就是它是一個消息系統，但Kafka發展至今，它的定位已遠不止於此，而是一個分布式流處理平台。對於一個流處理平台通常具有三個關鍵能力： 1. 發布和訂閱消息流，在這一點上它與消息隊列或企業消息系統類似 2. 以容錯的持久化方式存儲消息流 3. 在消息流產生時處理 ...

1.概述 Kafka是一個分布式消息中間件系統，里面存儲着實際場景中的數據。Kafka原生是不支持點查詢的，如果我們想對存儲在Topic中的數據進行查詢，可能需要對Topic中的數據進行消費落地，然后構建索引（或者數據落地到自帶所以的存儲系統中，例如HBase、Hive等）。今天，筆者就為 ...

Kafka分布式的單位是partition，同一個partition用一個write ahead log組織，所以可以保證FIFO的順序。不同partition之間不能保證順序。 但是絕大多數用戶都可以通過message key來定義，因為同一個key的message可以保證只發送到 ...

環境說明 kafka自0.9之后增加了connector的特性。本文主要是搭建一個分布式的kafka connector和broker。 本文用了三台機器進行部署，使用centos 6.6。 hostname ip role ...

不同於單一架構應用(Monolith), 分布式環境下, 進行事務操作將變得困難, 因為分布式環境通常會有多個數據源, 只用本地數據庫事務難以保證多個數據源數據的一致性. 這種情況下, 可以使用兩階段或者三階段提交協議來完成分布式事務.但是使用這種方式一般來說性能較差, 因為事務管理器需要在多個 ...