轉自：http://www.tuicool.com/articles/Aj6fAj3 如何確定Kafka的分區數、key和consumer線程數 在Kafak中國社區的qq群中，這個問題被提及的比例是相當高的，這也是Kafka用戶最常碰到的問題之一。本文結合 ...

Kafka-分區數-備份數-如何設置-怎么確定-怎么修改 kafka partition 數量 更新_百度搜索 kafka重新分配partition - - CSDN博客 如何為Kafka集群選擇合適的Partitions數量-優化問答-雲客網SEO眾包服務 ...

最佳線程數 在使用多線程的時候要注意幾個點，1.執行這個處理的時間多長，2.執行這類任務的消息有多頻繁 我一般的處理， 1.如果執行是時間過長但任務很少，我會只用一個線程（這里是無限循環，直到你的進程退出），而且最好在線程池里面直接開一個出來，不要單獨去new一個線程實例，好處的話就去看下線程池 ...

上一篇《Kafka Consumer多線程實例續篇》修正了多線程提交位移的問題，但依然可能出現數據丟失的情況，原因在於多個線程可能拿到相同分區的數據，而消費的順序會破壞消息本身在分區中的順序，因而擾亂位移的提交。這次我使用KafkaConsumer的pause和resume方法來防止這種情形的發生 ...

　　Kafka 0.9版本開始推出了Java版本的consumer，優化了coordinator的設計以及擺脫了對zookeeper的依賴。社區最近也在探討正式用這套consumer API替換Scala版本的consumer的計划。鑒於目前這方面的資料並不是很多，本文將嘗試給出一個 ...

　　在上一篇《Kafka Consumer多線程實例》中我們討論了KafkaConsumer多線程的兩種寫法：多KafkaConsumer多線程以及單KafkaConsumer多線程。在第二種用法中我使用的是自動提交的方式，省去了多線程提交位移的麻煩。很多人跑來問如果是手動提交應該怎么寫 ...

我們可以使用 bin/kafka-topics.sh 命令對 Kafka 增加 Kafka 的分區數據，但是 Kafka 不支持減少分區數。 Kafka 分區數據不支持減少是由很多原因的，比如減少的分區其數據放到哪里去？是刪除，還是保留？刪除的話，那么這些沒消費的消息不就丟了。如果保留這些消息 ...

@ 目錄 Kafka壓測 Kafka Producer（生產）壓力測試 Kafka Consumer（消費）壓力測試 計算Kafka分區數 Kafka機器數量計算 Kafka壓測 用Kafka官方自帶的腳本，對Kafka進行 ...