原文:Kafka send問題

kafka 在send之后不會立即把消息發送到broker。會把消息發到producer所在電腦內存里,后端的IOThread會掃描內存,並從中取出消息進行消費。 在調用close 或者flush 方法之后,會立即將消息發送到broker里。 ...

2019-04-28 10:36 0 848 推薦指數:

查看詳情

關於高並發下kafka producer send異步發送耗時問題的分析

最近開發網關服務的過程當中,需要用到kafka轉發消息與保存日志,在進行壓測的過程中由於是多線程並發操作kafka producer 進行異步send,發現send耗時有時會達到幾十毫秒的阻塞,很大程度上上影響了並發的性能,而在后續的測試中發現單線程發送反而比多線程發送效率高出幾倍 ...

Sun Jan 20 08:16:00 CST 2019 3 8471
kafka.common.FailedToSendMessageException: Failed to send messages after 3 tries.

  今天在寫kafka生產者生成數據的程序並運行時,報如下錯誤: 問題解決方案: 1.檢查目錄:C:\Windows\System32\drivers\etc下的hosts文件,看IP地址與主機名是否配置正確。經常,發現沒有正確配置,修改后再運行,正常 ...

Wed Mar 16 18:27:00 CST 2016 0 2277
開發環境解決 kafka Failed to send messages after 3 tries

新建了一個kafka集群,在window下寫了一個簡單的producer做測試,結果遇到了消息發送失敗的問題,代碼如下: Properties props = new Properties(); props.put("metadata.broker.list ...

Sun Jan 31 07:33:00 CST 2016 0 5083
C語言socket send()數據緩存問題

send()函數默認情況下會使用Nagle算法。Nagle算法通過將未確認的數據存入緩沖區直到積攢到一定數量一起發送的方法。來降低主機發送零碎小數據包的數目。所以假設send()函數發送數據過快的話,該算法會將一些數據打包后統一發出去。假設不了接這樣的情況,接收端採會遇到看似非常奇怪的問題 ...

Sat Jul 08 17:19:00 CST 2017 0 3936
kafka】celery與kafka的聯用問題

背景:一個小應用,用celery下發任務,任務內容為kafka生產一些數據。 問題:使用confluent_kafka模塊時,單獨啟用kafka可以正常生產消息,但是套上celery后,kafka就無法將新消息生產到topic隊列中了。 解決:換了個pykafka模塊,結果問題 ...

Thu Sep 14 21:47:00 CST 2017 1 4128
 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM