我现在使用的是librdkafka 的C C 的客户端来生产消息，用flume来辅助处理异常的数据，，， 但是在前段时间，单独使用flume测试的时候发现，flume不能对分区进行负载均衡 同一个集群中，一个broker的一个分区已经有 亿条数据，另外一台的另一个分区只有 亿条数据 因此，我对flume参照别人的做法，增加了拦截器 即在flume配置文件中 增加以下字段 stage nginx.s ...
2017-01-22 00:47 0 2953 推荐指数：
众所周知，由于Zookeeper并不适合大批量的频繁写入操作，新版Kafka已推荐将consumer的位移信息保存在Kafka内部的topic中，即__consumer_offsets topic，并且默认提供了kafka_consumer_groups.sh脚本供用户查看consumer信息 ...
众所周知，由于Zookeeper并不适合大批量的频繁写入操作，新版Kafka已推荐将consumer的位移信息保存在Kafka内部的topic中，即__consumer_offsets topic，并且默认提供了kafka_consumer_groups.sh脚本供用户查看consumer信息 ...
通过groupname 获取groupid 通过命令查 ./bin/kafka-consumer-groups.sh --bootstrap-server ip:9092 --describe --group consumer2 保存到 kafka配置 ...
仅个人实践中所遇到的问题，若有不对的，欢迎交流！ 一、场景描述 kafka集群中有几台突然挂了，后台日志显示设备空间满了，消息无法写入__consumer_offsets topic的分区中了。查看kafka数据目录下各个文件的大小，发现__consumer_offsets topic ...
__consumer_offsets consumer默认将offset保存在Kafka一个内置的topic中，该topic为__consumer_offsets __consumer_offsets 为kafka中的topic， 那就可以通过消费者进行消费. 大概思路 ...
抛出问题： 原因分析： 我在笔记本上搭建了kafka集群，共3个Broker，来解决这个问题。下面是一些记录。 说明：如果你的__consumer_offsets这个topic已经被创建了，而且只存在一台broker上，如果你直接使用命令删除 ...
KAFKA 的TOPIC __consumer_offsets 的清理 查看现有的__consumer_offsets 清理策略 打印结果如下： 删除特有的清理策略 网上的资料都说 ，删除掉__consumer_offsets的特殊的清理策略后，默认会使用我们配置文件的清理 ...
系列导航 一、kafka搭建-单机版 二、kafka搭建-集群搭建 三、kafka集群增加密码验证 四、kafka集群权限增加ACL 五、kafka集群__consumer_offsets副本数修改 六、java操作kafka(没有密码验证) 七、java操作kafka(有密码验证 ...
