转自：http://www.tuicool.com/articles/Aj6fAj3 如何确定Kafka的分区数、key和consumer线程数 在Kafak中国社区的qq群中，这个问题被提及的比例是相当高的，这也是Kafka用户最常碰到的问题之一。本文结合 ...

Kafka-分区数-备份数-如何设置-怎么确定-怎么修改 kafka partition 数量 更新_百度搜索 kafka重新分配partition - - CSDN博客 如何为Kafka集群选择合适的Partitions数量-优化问答-云客网SEO众包服务 ...

最佳线程数 在使用多线程的时候要注意几个点，1.执行这个处理的时间多长，2.执行这类任务的消息有多频繁 我一般的处理， 1.如果执行是时间过长但任务很少，我会只用一个线程（这里是无限循环，直到你的进程退出），而且最好在线程池里面直接开一个出来，不要单独去new一个线程实例，好处的话就去看下线程池 ...

上一篇《Kafka Consumer多线程实例续篇》修正了多线程提交位移的问题，但依然可能出现数据丢失的情况，原因在于多个线程可能拿到相同分区的数据，而消费的顺序会破坏消息本身在分区中的顺序，因而扰乱位移的提交。这次我使用KafkaConsumer的pause和resume方法来防止这种情形的发生 ...

　　Kafka 0.9版本开始推出了Java版本的consumer，优化了coordinator的设计以及摆脱了对zookeeper的依赖。社区最近也在探讨正式用这套consumer API替换Scala版本的consumer的计划。鉴于目前这方面的资料并不是很多，本文将尝试给出一个 ...

　　在上一篇《Kafka Consumer多线程实例》中我们讨论了KafkaConsumer多线程的两种写法：多KafkaConsumer多线程以及单KafkaConsumer多线程。在第二种用法中我使用的是自动提交的方式，省去了多线程提交位移的麻烦。很多人跑来问如果是手动提交应该怎么写 ...

我们可以使用 bin/kafka-topics.sh 命令对 Kafka 增加 Kafka 的分区数据，但是 Kafka 不支持减少分区数。 Kafka 分区数据不支持减少是由很多原因的，比如减少的分区其数据放到哪里去？是删除，还是保留？删除的话，那么这些没消费的消息不就丢了。如果保留这些消息 ...

@ 目录 Kafka压测 Kafka Producer（生产）压力测试 Kafka Consumer（消费）压力测试 计算Kafka分区数 Kafka机器数量计算 Kafka压测 用Kafka官方自带的脚本，对Kafka进行 ...