原文:Kafka send问题

kafka 在send之后不会立即把消息发送到broker。会把消息发到producer所在电脑内存里,后端的IOThread会扫描内存,并从中取出消息进行消费。 在调用close 或者flush 方法之后,会立即将消息发送到broker里。 ...

2019-04-28 10:36 0 848 推荐指数:

查看详情

关于高并发下kafka producer send异步发送耗时问题的分析

最近开发网关服务的过程当中,需要用到kafka转发消息与保存日志,在进行压测的过程中由于是多线程并发操作kafka producer 进行异步send,发现send耗时有时会达到几十毫秒的阻塞,很大程度上上影响了并发的性能,而在后续的测试中发现单线程发送反而比多线程发送效率高出几倍 ...

Sun Jan 20 08:16:00 CST 2019 3 8471
kafka.common.FailedToSendMessageException: Failed to send messages after 3 tries.

  今天在写kafka生产者生成数据的程序并运行时,报如下错误: 问题解决方案: 1.检查目录:C:\Windows\System32\drivers\etc下的hosts文件,看IP地址与主机名是否配置正确。经常,发现没有正确配置,修改后再运行,正常 ...

Wed Mar 16 18:27:00 CST 2016 0 2277
开发环境解决 kafka Failed to send messages after 3 tries

新建了一个kafka集群,在window下写了一个简单的producer做测试,结果遇到了消息发送失败的问题,代码如下: Properties props = new Properties(); props.put("metadata.broker.list ...

Sun Jan 31 07:33:00 CST 2016 0 5083
C语言socket send()数据缓存问题

send()函数默认情况下会使用Nagle算法。Nagle算法通过将未确认的数据存入缓冲区直到积攒到一定数量一起发送的方法。来降低主机发送零碎小数据包的数目。所以假设send()函数发送数据过快的话,该算法会将一些数据打包后统一发出去。假设不了接这样的情况,接收端採会遇到看似非常奇怪的问题 ...

Sat Jul 08 17:19:00 CST 2017 0 3936
kafka】celery与kafka的联用问题

背景:一个小应用,用celery下发任务,任务内容为kafka生产一些数据。 问题:使用confluent_kafka模块时,单独启用kafka可以正常生产消息,但是套上celery后,kafka就无法将新消息生产到topic队列中了。 解决:换了个pykafka模块,结果问题 ...

Thu Sep 14 21:47:00 CST 2017 1 4128
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM