原文:如何確定Kafka的分區數、key和consumer線程數

轉自:http: www.tuicool.com articles Aj fAj 如何確定Kafka的分區數 key和consumer線程數 在Kafak中國社區的qq群中,這個問題被提及的比例是相當高的,這也是Kafka用戶最常碰到的問題之一。本文結合Kafka源碼試圖對該問題相關的因素進行探討。希望對大家有所幫助。 怎么確定分區數 我應該選擇幾個分區 如果你在Kafka中國社區的群里,這樣的問 ...

2017-06-26 11:30 0 1852 推薦指數:

查看詳情

【原創】如何確定Kafka分區keyconsumer線程

在Kafak中國社區的qq群中,這個問題被提及的比例是相當高的,這也是Kafka用戶最常碰到的問題之一。本文結合Kafka源碼試圖對該問題相關的因素進行探討。希望對大家有所幫助。 怎么確定分區? “我應該選擇幾個分區?”——如果你在Kafka中國社區的群里 ...

Tue Aug 25 20:28:00 CST 2015 21 53994
線程如何確定線程

最佳線程 在使用多線程的時候要注意幾個點,1.執行這個處理的時間多長,2.執行這類任務的消息有多頻繁 我一般的處理, 1.如果執行是時間過長但任務很少,我會只用一個線程(這里是無限循環,直到你的進程退出),而且最好在線程池里面直接開一個出來,不要單獨去new一個線程實例,好處的話就去看下線程池 ...

Fri Mar 09 00:15:00 CST 2018 0 1492
Kafka 分區可以增加或減少嗎?為什么?

我們可以使用 bin/kafka-topics.sh 命令對 Kafka 增加 Kafka分區數據,但是 Kafka 不支持減少分區Kafka 分區數據不支持減少是由很多原因的,比如減少的分區其數據放到哪里去?是刪除,還是保留?刪除的話,那么這些沒消費的消息不就丟了。如果保留這些消息 ...

Tue May 26 08:06:00 CST 2020 0 3130
Java多線程之如何確定線程

關於多線程線程確定,最近研讀過幾篇paper,在此做一下筆記,方便使用時翻看。 1、《Java 虛擬機並發編程》中介紹 就是說:線程 = CPU的核心數 * (1 - 阻塞系數) 另一篇:《Java Concurrency in Practice ...

Sat Jun 01 07:21:00 CST 2019 0 3490
Kafka分區與消費者個數

Kafka分區是不是越多越好? 分區多的優點 kafka使用分區將topic的消息打散到多個分區分布保存在不同的broker上,實現了producer和consumer消息處理的高吞吐量。Kafka的producer和consumer都可以多線程地並行操作,而每個線程處理的是一個 ...

Sun Oct 21 22:26:00 CST 2018 0 2688
 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM