原文:如何确定Kafka的分区数、key和consumer线程数

转自:http: www.tuicool.com articles Aj fAj 如何确定Kafka的分区数 key和consumer线程数 在Kafak中国社区的qq群中,这个问题被提及的比例是相当高的,这也是Kafka用户最常碰到的问题之一。本文结合Kafka源码试图对该问题相关的因素进行探讨。希望对大家有所帮助。 怎么确定分区数 我应该选择几个分区 如果你在Kafka中国社区的群里,这样的问 ...

2017-06-26 11:30 0 1852 推荐指数:

查看详情

【原创】如何确定Kafka分区keyconsumer线程

在Kafak中国社区的qq群中,这个问题被提及的比例是相当高的,这也是Kafka用户最常碰到的问题之一。本文结合Kafka源码试图对该问题相关的因素进行探讨。希望对大家有所帮助。 怎么确定分区? “我应该选择几个分区?”——如果你在Kafka中国社区的群里 ...

Tue Aug 25 20:28:00 CST 2015 21 53994
线程如何确定线程

最佳线程 在使用多线程的时候要注意几个点,1.执行这个处理的时间多长,2.执行这类任务的消息有多频繁 我一般的处理, 1.如果执行是时间过长但任务很少,我会只用一个线程(这里是无限循环,直到你的进程退出),而且最好在线程池里面直接开一个出来,不要单独去new一个线程实例,好处的话就去看下线程池 ...

Fri Mar 09 00:15:00 CST 2018 0 1492
Kafka 分区可以增加或减少吗?为什么?

我们可以使用 bin/kafka-topics.sh 命令对 Kafka 增加 Kafka分区数据,但是 Kafka 不支持减少分区Kafka 分区数据不支持减少是由很多原因的,比如减少的分区其数据放到哪里去?是删除,还是保留?删除的话,那么这些没消费的消息不就丢了。如果保留这些消息 ...

Tue May 26 08:06:00 CST 2020 0 3130
Java多线程之如何确定线程

关于多线程线程确定,最近研读过几篇paper,在此做一下笔记,方便使用时翻看。 1、《Java 虚拟机并发编程》中介绍 就是说:线程 = CPU的核心数 * (1 - 阻塞系数) 另一篇:《Java Concurrency in Practice ...

Sat Jun 01 07:21:00 CST 2019 0 3490
Kafka分区与消费者个数

Kafka分区是不是越多越好? 分区多的优点 kafka使用分区将topic的消息打散到多个分区分布保存在不同的broker上,实现了producer和consumer消息处理的高吞吐量。Kafka的producer和consumer都可以多线程地并行操作,而每个线程处理的是一个 ...

Sun Oct 21 22:26:00 CST 2018 0 2688
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM