深入理解kafka
摘自： 《kafka权威指南》 集群间成员关系 Kafka 使用Zoo keeper 来维护集群成员的信息。每个broker 都有一个唯一标识符，这个标识符可以在配置文件里指定，也可以自动生成。在broker 启动的时候，它通过创建临时节点把自己的ID 注册到Zookeeper 。Kafka ...
原文：Kafka深入理解-1：Kafka高效的文件存储设计
文章摘自：美团点评技术团队 Kafka文件存储机制那些事 Kafka是什么 Kafka是最初由Linkedin公司开发，是一个分布式 分区的 多副本的 多订阅者，基于zookeeper协调的分布式日志系统 也可以当做MQ系统 ，常见可以用于web nginx日志 访问日志，消息服务等等，Linkedin于 年贡献给了Apache基金会并成为顶级开源项目。 .前言 一个商业化消息队列的性能好坏，其文 ...
2016-11-23 23:19 0 3554 推荐指数：
相关推荐
深入理解Kafka核心设计及原理（一）：初识Kafka
转载请注明出处： 1.1 kafka简介 Kafka 起初是由 Linkedin 公司采用 Scala 语言开发的一个多分区、多副本且基于 ZooKeeper协调的分布式消息系统，现己被捐献给 Apache 基金会 。 目前 Kafka 已经定位为一个分布式流式处理平台，它以高吞吐 ...
深入理解Kafka核心设计及原理（二）：生产者
转载请注明出处： 2.1Kafka生产者客户端架构 2.2 Kafka 进行消息生产发送代码示例及ProducerRecord对象 kafka进行消息生产发送代码示例 ...
深入理解Kafka核心设计及原理（三）：消费者
重复消费的现象 3.6 再均衡 3.7Kafka消费端重要的参数 3 ...
深入理解Kafka必知必会（1）
Kafka的用途有哪些？使用场景如何？ 消息系统： Kafka 和传统的消息系统（也称作消息中间件）都具备系统解耦、冗余存储、流量削峰、缓冲、异步通信、扩展性、可恢复性等功能。与此同时，Kafka 还提供了大多数消息系统难以实现的消息顺序性保障及回溯消费的功能。 存储 ...
深入理解Kafka必知必会（3）
Kafka中的事务是怎么实现的？ Kafka中的事务可以使应用程序将消费消息、生产消息、提交消费位移当作原子操作来处理，同时成功或失败，即使该生产或消费会跨多个分区。 生产者必须提供唯一的transactionalId，启动后请求事务协调器获取一个PID，transactionalId与PID ...
深入理解Kafka必知必会（2）
深入理解Kafka必知必会（1） Kafka目前有哪些内部topic，它们都有什么特征？各自的作用又是什么？ __consumer_offsets：作用是保存 Kafka 消费者的位移信息 __transaction_state：用来存储事务日志消息 优先副本是什么？它有什么特殊的作用 ...
深入理解kafka——RecordAccumulator 和 InFlightRequests
博主在这里不具体讨论生产者的代码如何编写，而是聚焦于生产者客户端比较重要的两个区域RecordAccumulator 和 InFlightRequests。 整个生产者客户端由两个线程协调工作 ...