深入理解Kafka必知必会（1）
Kafka的用途有哪些？使用场景如何？ 消息系统： Kafka 和传统的消息系统（也称作消息中间件）都具备系统解耦、冗余存储、流量削峰、缓冲、异步通信、扩展性、可恢复性等功能。与此同时，Kafka 还提供了大多数消息系统难以实现的消息顺序性保障及回溯消费的功能。 存储系统 ...
原文：深入理解Kafka必知必会（3）
Kafka中的事务是怎么实现的 Kafka中的事务可以使应用程序将消费消息 生产消息 提交消费位移当作原子操作来处理，同时成功或失败，即使该生产或消费会跨多个分区。 生产者必须提供唯一的transactionalId，启动后请求事务协调器获取一个PID，transactionalId与PID一一对应。 每次发送数据给 lt Topic, Partition gt 前，需要先向事务协调器发送AddP ...
2019-12-22 13:02 0 3241 推荐指数：
相关推荐
深入理解Kafka必知必会（2）
深入理解Kafka必知必会（1） Kafka目前有哪些内部topic，它们都有什么特征？各自的作用又是什么？ __consumer_offsets：作用是保存 Kafka 消费者的位移信息 __transaction_state：用来存储事务日志消息 优先副本是什么？它有什么特殊的作用 ...
深入理解kafka
摘自： 《kafka权威指南》 集群间成员关系 Kafka 使用Zoo keeper 来维护集群成员的信息。每个broker 都有一个唯一标识符，这个标识符可以在配置文件里指定，也可以自动生成。在broker 启动的时候，它通过创建临时节点把自己的ID 注册到Zookeeper 。Kafka ...
深入理解kafka——RecordAccumulator 和 InFlightRequests
博主在这里不具体讨论生产者的代码如何编写，而是聚焦于生产者客户端比较重要的两个区域RecordAccumulator 和 InFlightRequests。 整个生产者客户端由两个线程协调工作 ...
Kafka系列2：深入理解Kafka生产者
Kafka系列2：深入理解Kafka消费者 上篇聊了Kafka概况，包含了Kafka的基本概念、设计原理，以及设计核心。本篇单独聊聊Kafka的生产者，包括如下内容： 生产者是如何生产消息 如何创建生产者 发送消息到Kafka 生产者配置 分区 生产者是如何生产消息 ...
Kafka系列3：深入理解Kafka消费者
p.p1 { margin: 0; font: 14px "Heiti SC Light"; color: rgba(23, 144, 233, 1); background-color: rgba( ...
Kafka深入理解-1：Kafka高效的文件存储设计
文章摘自：美团点评技术团队 Kafka文件存储机制那些事 Kafka是什么 Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统(也可以当做MQ系统)，常见可以用于web/nginx日志、访问日志，消息 ...
深入理解Kafka核心设计及原理（一）：初识Kafka
转载请注明出处： 1.1 kafka简介 Kafka 起初是由 Linkedin 公司采用 Scala 语言开发的一个多分区、多副本且基于 ZooKeeper协调的分布式消息系统，现己被捐献给 Apache 基金会 。 目前 Kafka 已经定位为一个分布式流式处理平台，它以高吞吐 ...