Kafka消息topic分区
kafka是为分布式环境设计的,因此如果日志文件,其实也可以理解成消息数据库,放在同一个地方,那么必然会带来可用性的下降,一挂全挂,如果全量拷贝到所有的机器上,那么数据又存在过多的冗余,而且由于每台机器的磁盘大小是有限的,所以即使有再多的机器,可处理的消息还是被磁盘所限制,无法 ...
原文：kafka集群在消息消费出现无法找到topic分区的处理解决
最近几天在做spark数据同步过程中，中间通过kafka集群处理消息，每次同步到一半就会出现同步不了 查看日志如下： 最开始看到这个问题很懵逼，完全找不到解决问题的切入口，期间也询问了架构师 因为这个kafka和spark都是他引进来的，同时也问了运维同事，有没有碰到这个问题，最后都是无法解决这个问题 查看对应存在问题的kafka节点的日志： 一次突发奇想，是不是可以看一下kafka集群的日志，发 ...
2019-05-30 18:18 0 879 推荐指数：
相关推荐
【转】Kafka某topic无法消费解决方案&Kafka某Topic数据清理
由于项目原因，最近经常碰到Kafka消息队列某topic在集群宕机重启后无法消费的情况。碰到这种情况，有三步去判断原因所在： step A：如果用kafka串口（即console-consumer）是可以正常消费该topic，则排除kafka集群出现故障 step B：若平台业务能正常消费 ...
kafka集群扩容后的topic分区迁移
kafka集群扩容后，新的broker上面不会数据进入这些节点，也就是说，这些节点是空闲的；它只有在创建新的topic时才会参与工作。除非将已有的partition迁移到新的服务器上面；所以需要将一些topic的分区迁移到新的broker ...
kafka创建topic，生产和消费指定topic消息
启动zookeeper和Kafka之后，进入kafka目录（安装/启动kafka参考前面一章：https://www.cnblogs.com/cici20166/p/9425613.html） 1.创建Topic 1）运行命令： ./bin/kafka-topics.sh --create ...
Kafka创建&查看topic，生产&消费指定topic消息
启动zookeeper和Kafka之后，进入kafka目录（安装/启动kafka参考前面一章：https://www.cnblogs.com/cici20166/p/9425613.html） 1.创建Topic 1）运行命令： ./bin/kafka-topics.sh --create ...
（三）kafka集群扩容后的topic分区迁移
kafka集群扩容后的topic分区迁移 kafka集群扩容后，新的broker上面不会数据进入这些节点，也就是说，这些节点是空闲的；它只有在创建新的topic时才会参与工作。除非将已有的partition迁移到新的服务器上面； 所以需要将一些topic的分区迁移到新的broker ...
kafka 消费不到指定分区的消息
原因一： kafka 没有设置正确配置文件的时候 num.partition 设置是 1； 原因二： kafka 创建主题的时候没有创建一个分区以上的数量； ...
Kafka 消费者是否可以消费指定分区消息？
Kafa consumer消费消息时，向broker发出fetch请求去消费特定分区的消息，consumer指定消息在日志中的偏移量（offset），就可以消费从这个位置开始的消息，customer拥有了offset的控制权，可以向后回滚去重新消费之前的消息，这是很有意义的 ...