kafka 幂等生产者及事务(kafka0.11之后版本新特性)
1. 幂等性设计1.1 引入目的生产者重复生产消息。生产者进行retry会产生重试时，会重复产生消息。有了幂等性之后，在进行retry重试时，只会生成一个消息。 1.2 幂等性实现1.2.1 PID 和 Sequence Number为了实现Producer的幂等性，Kafka引入 ...
原文：kafka0.8--0.11各个版本特性预览介绍
kafka . . 新特性 producer不再区分同步 sync 和异步方式 async ，所有的请求以异步方式发送，这样提升了客户端效率。producer请求会返回一个应答对象，包括偏移量或者错误信。这种异步方地批量的发送消息到kafka broker节点，因而可以减少server端资源的开销。新的producer和所有的服务器网络通信都是异步地，在ack 模式下需要等待所有的replica副 ...
2017-04-14 16:25 1 13190 推荐指数：
相关推荐
Kafka 0.11版本新功能介绍 —— 空消费组延时rebalance
在0.11之前的版本中，多个consumer实例加入到一个空消费组将导致多次的rebalance，这是由于每个consumer instance启动的时间不可控，很有可能超出coordinator确定的rebalance timeout(即max.poll.interval.ms)，而每次 ...
Kafka 0.8 Consumer Rebalance
1 Rebalance时机 0.10kafka的rebalance条件 条件1：有新的consumer加入 条件2：旧的consumer挂了 条件3：coordinator挂了，集群选举出新的coordinator（0.10 特有的） 条件4：topic的partition新 ...
Apache Kafka 0.11版本新功能简介
Apache Kafka近日推出0.11版本。这是一个里程碑式的大版本，特别是Kafka从这个版本开始支持“exactly-once”语义(下称EOS， exactly-once semantics)。本文简要介绍一下0.11版本主要的功能变更，下面中的每一项都值得专门写篇文章好好聊聊 ...
Kafka 0.8协议
介绍 概述 预备知识 网络 分区和引导 分区策略 批量处理 版本控制和兼容性 协议 Protocol Primitive Types Notes on reading the request format ...
Kafka 0.8 配置参数解析
http://kafka.apache.org/documentation.html#configuration Broker Configs 4个必填参数， broker.id Each broker is uniquely identified by a non-negative ...
Kafka 版本介绍
1. Kafka 只是一个消息引擎系统吗？ Apache Kafka 是消息引擎系统，也是一个分布式流处理平台（Distributed Streaming Platform） Kafka 在设计之初就旨在提供三个方面的特性： 提供一套 API 实现生产者和消费者 降低网络传输 ...
Kafka 0.8 Producer处理逻辑
Kafka Producer产生数据发送给Kafka Server，具体的分发逻辑及负载均衡逻辑，全部由producer维护。 1.Kafka Producer默认调用逻辑 1.1 默认Partition逻辑 1、没有key时的分发逻辑 每隔 ...