原文:Apache Kafka源码分析 - KafkaApis

kafka apis反映出kafka broker server可以提供哪些服务,broker server主要和producer,consumer,controller有交互,搞清这些api就清楚了broker server的所有行为 handleOffsetRequest 提供对offset的查询的需求,比如查询earliest,latest offset是什么,或before某个时间戳的of ...

2015-10-27 11:30 0 2591 推荐指数:

查看详情

Apache Kafka 源码剖析

Getting Start 下载 http://kafka.apache.org/ 优点和应用场景 Kafka消息驱动,符合发布-订阅模式,优点和应用范围都共通 发布-订阅模式优点 解耦合 : 两个应用不需要相互调用 可扩展性 : 消费者的个数 ...

Fri Mar 29 23:39:00 CST 2019 0 670
Kafka源码解析(二)---Log分析

上一篇文章讲了LogSegment和Log的初始化,这篇来讲讲Log的主要操作有哪些。 一般来说Log 的常见操作分为 4 大部分。 高水位管理操作 日志段管理 关键位移值管理 ...

Mon Jun 22 00:05:00 CST 2020 0 634
Kafka 0.8源码分析—ZookeeperConsumerConnector

1.HighLevelApi High Level Api是多线程的应用程序,以Topic的Partition数量为中心。消费的规则如下: 一个partition只能被同一个Consumer ...

Tue Feb 07 07:04:00 CST 2017 0 2473
Apache Curator之InterProcessMutex源码分析(四)

上篇文章通过秒购的例子对InterProcessMutex锁有了初步认识,本文将通过对源码进行分析带你进入分布式锁的世界。 老规矩先上图,为了更清晰的了解获取锁,释放锁的过程,下图简化了一些细节,使整个流程更加通畅。 下面将逐个方法去分析 ...

Fri Oct 26 18:30:00 CST 2018 1 881
kafka源码分析之一server启动分析

0. 关键概念 关键概念 Concepts Function Topic 用于划分Message的逻辑概念,一个Topic可以分布在多个Broker上。 Partition 是Kafka中横向 ...

Sun Feb 14 21:56:00 CST 2016 0 10561
spark-streaming-kafka-0-10源码分析

转发请注明原创地址http://www.cnblogs.com/dongxiao-yang/p/7767621.html 本文所研究的spark-streaming代码版本为2.3.0-SNAPSHOT spark-streaming为了匹配0.10以后版本的kafka客户端变化推出 ...

Fri Nov 03 00:51:00 CST 2017 2 3459
源码分析Kafka 消息拉取流程

本节重点讨论 Kafka 的消息拉起流程。 @ 目录 1、KafkaConsumer poll 详解 1.1 KafkaConsumer updateAssignmentMetadataIfNeeded 详解 1.1.1 ...

Thu Jan 16 04:34:00 CST 2020 0 1843
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM