Kafka消息topic分区
kafka是为分布式环境设计的,因此如果日志文件,其实也可以理解成消息数据库,放在同一个地方,那么必然会带来可用性的下降,一挂全挂,如果全量拷贝到所有的机器上,那么数据又存在过多的冗余,而且由于每台机器的磁盘大小是有限的,所以即使有再多的机器,可处理的消息还是被磁盘所限制,无法 ...
原文：（一）kafka修改topic分区的位置
一 kafka修改topic分区的位置 环境：kafka . . . . JDK . . . 查看分区topic的分区分布 le kafka topics.sh describe topic http zhixin line 结果如下： . 准备分区分配的JSON配置文件 可以使用kafka的kafka reassign partitions.sh工具来分配topic的分区位置，操作之前得准备一 ...
2016-07-14 18:18 0 4119 推荐指数：
相关推荐
修改kafka topic offset 的方法
在spark JOB中消费kafka队列数据时，通过zookeeper记录了kafka的偏移量，有时数据量较大，JOB处理不过来，这事需要kafka修改偏移量offset，如： 开始尝试调用kafka内置的类kafka.tools.UpdateOffsetsInZK，修改 ...
kafka修改topic副本数
工作案例: 大数据开发用系统脚本自动在kafka建topic,检查后才发现副本数只有1个,存在数据丢失的风险。需要立刻把副本数改为3个。 开始干活，首先想到的是下面的命令： ${BIN_PATH}/kafka-topics.sh --zookeeper ...
kafka集群扩容后的topic分区迁移
kafka集群扩容后，新的broker上面不会数据进入这些节点，也就是说，这些节点是空闲的；它只有在创建新的topic时才会参与工作。除非将已有的partition迁移到新的服务器上面；所以需要将一些topic的分区迁移到新的broker ...
关于Flink slot 和kafka topic 分区关系的说明
今天又有小伙伴在群里问 slot 和 kafka topic 分区(以下topic，默认为 kafka 的 topic )的关系，大概回答了一下，这里整理一份 首先必须明确的是，Flink Task Manager 的 slot 数 和 topic 的分区数是没有直接关系的，而这个问题其实是问 ...
kafka 获取topic每个分区的数据条数
执行命令 2、获取条数 从上述的命令解析可以看到， --time -1 表示获取的最新位移值 --time -2 表示获取的最早的位移值，可能由于最早的数据由于过期被删除，所以最早的位移不一定是0 通过两数相减，就可以知道当前分区的数据条数。 ...
kafka如何确定机器数量和topic分区个数
一、Kafka压力测试 1）Kafka压测 用Kafka官方自带的脚本，对Kafka进行压测。Kafka压测时，可以查看到哪个地方出现了瓶颈（CPU，内存，网络IO）。一般都是网络IO达到瓶颈。 2）Kafka Producer压力测试 （1）在/opt ...
（三）kafka集群扩容后的topic分区迁移
kafka集群扩容后的topic分区迁移 kafka集群扩容后，新的broker上面不会数据进入这些节点，也就是说，这些节点是空闲的；它只有在创建新的topic时才会参与工作。除非将已有的partition迁移到新的服务器上面； 所以需要将一些topic的分区迁移到新的broker ...