Kafka集群管理和监控方案之Kafka Manager
https://blog.frognew.com/2019/07/kafka-manager.html 1.Kafka监控方案简介 前面我们已经在k8s上使用incubator/kafka chart部署了Kafka。本篇来聊聊kafka的管理和监控。 关于kafka的监控方案 ...
原文：关于Kafka监控方案的讨论
之前在知乎上尝试过回答这个问题，后来问的人挺多，干脆在博客里面保存一下。 目前Kafka监控方案看似很多，然而并没有一个 大而全 的通用解决方案。各家框架也是各有千秋，以下是我了解到的一些内容： Kafka manager Github地址： https: github.com yahoo kafka manager。 这款监控框架的好处在于监控内容相对丰富，既能够实现broker级常见的JMX监 ...
2018-05-23 09:32 3 5226 推荐指数：
相关推荐
关于Kafka配额的讨论(1)
Kafka自0.9.0.0版本引入了配额管理(quota management)，旨在broker端对clients发送请求进行限流(throttling)。目前Kafka支持两大类配额管理： 网络带宽（network bandwidth）配额管理：定义带宽阈值来限制请求发送速率，阈值单位 ...
关于Kafka high watermark的讨论2
之前写过一篇关于Kafka High watermark的文章，引起的讨论不少：有赞扬之声，但更多的是针对文中的内容被challenge，于是下定决心找个晚上熬夜再看了一遍，昨晚挑灯通读了一遍确实发现不少错误。鉴于此我决定再写一篇博客重新梳理一下最新版本中High watermark（下称HW ...
关于Kafka broker IO的讨论
Apache Kafka是大量使用磁盘和页缓存(page cache)的，特别是对page cache的应用被视为是Kafka实现高吞吐量的重要因素之一。实际场景中用户调整page cache的手段并不太多，更多的还是通过管理好broker端的IO来间接影响page cache从而实现高吞吐量 ...
关于Kafka幂等producer的讨论
众所周知，Kafka 0.11.0.0版本正式支持精确一次处理语义(exactly once semantics，下称EOS)。Kafka的EOS主要体现在3个方面： 幂等producer：保证发送单个分区的消息只会发送一次，不会出现重复消息 事务(transaction)：保证 ...
关于Kafka Fetch Session的讨论
Kafka在1.1.0版本引入了fetch session的概念，旨在降低“无效”FETCH请求对集群带宽资源的占用。故事的背景是这样的： 众所周知，Kafka的broker和consumer都会定期地向leader broker发送FETCH请求去获取数据。对于分区数很多的topic ...
关于Kafka __consumer_offests的讨论
众所周知，__consumer__offsets是一个内部topic，对用户而言是透明的，除了它的数据文件以及偶尔在日志中出现这两点之外，用户一般是感觉不到这个topic的。不过我们的确知道它保存的是Kafka新版本consumer的位移信息。本文我们简单梳理一下这个内部topic(以1.0.0 ...
关于Kafka日志留存策略的讨论
关于Kafka日志留存(log retention)策略的介绍，网上已有很多文章。不过目前其策略已然发生了一些变化，故本文针对较新版本的Kafka做一次统一的讨论。如果没有显式说明，本文一律以Kafka 1.0.0作为分析对象。 所谓日志留存策略，就是Kafka保存topic数据的规则 ...