kafka是一种分布式的，基于发布订阅的消息系统。具有以下几个方面的特性。 1.能够提供常数时间的消息持久化及访问性能。 2.高吞吐率。廉价的商用机器上能够达到每秒100k条的消息传输。 3.支持kafka server间的消息消息分区，分布式消费，分区内消息的顺序性。 4.支持水平扩展 ...

版本介绍 　　目前最新版本为2.3（20190808更新）。 　　从使用上来看，以0.9为分界线，0.9开始不再区分高级（相当于mysql binlog的GTID，只需要跟topic打交道，服务器 ...

一、为什么需要消息系统1）解耦允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。2）冗余消息队列把数据进行持久化直到它们已经被完全处理，通过这一方式规避了数据丢失风险。许多消 ...

近期在做kafka metrics. 参考了几个开源的项目，诸如kafka manager, Burrow, kafkaOffsetMonitor，东西都很不错，可惜没有一个是用java编写的，最终自己去仿照kafka源码写了个java版的adminclient，拿到了自己需要的metrics数据 ...

参考 http://zqhxuyuan.github.io/2016/01/14/2016-01-14-Kafka-ISR/ http://zqhxuyuan.github.io/2016/01/13/2016-01-13-Kafka-Picture/ http ...

一 Kafka概述 1.1 Kafka是什么 在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。 1）Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。 2）Kafka最初 ...

kafka中有三种语义： 1、at-most-once 配置应答模式ack为0时，只要消息到了broker无论是否写成功，就回复ok，这样可能导致消息没有写入kafka；这种做法一般是为了减少消息的重复性，而且业务必须接受数据的丢失 2、at-least-once producer在收到 ...

KafkaConsumer是非线程安全的，多线程共享一个KafkaConsumer实例，kafka会有如下异常：java.util.ConcurrentModificationException: KafkaConsumer is not safe for multi-threaded ...