Kafka是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx ...

Seata介绍 Seata 是一款开源的分布式事务解决方案，致力于提供高性能和简单易用的分布式事务服务。Seata 将为用户提供了 AT、TCC、SAGA 和 XA 事务模式，为用户打造一站式的分布式解决方案。 2019 年 1 月，阿里巴巴中间件团队发起了开源项目 Fescar（Fast ...

基本架构 Kafka分布式消息队列的作用： 解耦：将消息生产阶段和处理阶段拆分开，两个阶段互相独立各自实现自己的处理逻辑，通过Kafka提供的消息写入和消费接口实现对消息的连接处理。降低开发复杂度，提高系统稳定性。 高吞吐率：kafka通过顺序读写磁盘提供可以和内存随机读写相匹敌的读写速度 ...

提到Kafka很多人的第一印象就是它是一个消息系统，但Kafka发展至今，它的定位已远不止于此，而是一个分布式流处理平台。对于一个流处理平台通常具有三个关键能力： 1. 发布和订阅消息流，在这一点上它与消息队列或企业消息系统类似 2. 以容错的持久化方式存储消息流 3. 在消息流产生时处理 ...

1.概述 Kafka是一个分布式消息中间件系统，里面存储着实际场景中的数据。Kafka原生是不支持点查询的，如果我们想对存储在Topic中的数据进行查询，可能需要对Topic中的数据进行消费落地，然后构建索引（或者数据落地到自带所以的存储系统中，例如HBase、Hive等）。今天，笔者就为 ...

Kafka分布式的单位是partition，同一个partition用一个write ahead log组织，所以可以保证FIFO的顺序。不同partition之间不能保证顺序。 但是绝大多数用户都可以通过message key来定义，因为同一个key的message可以保证只发送到 ...

环境说明 kafka自0.9之后增加了connector的特性。本文主要是搭建一个分布式的kafka connector和broker。 本文用了三台机器进行部署，使用centos 6.6。 hostname ip role ...

不同于单一架构应用(Monolith), 分布式环境下, 进行事务操作将变得困难, 因为分布式环境通常会有多个数据源, 只用本地数据库事务难以保证多个数据源数据的一致性. 这种情况下, 可以使用两阶段或者三阶段提交协议来完成分布式事务.但是使用这种方式一般来说性能较差, 因为事务管理器需要在多个 ...