RabbitMQ和Kafka都提供持久的消息保证。两者都提供至少一次和至多一次的保证，另外，Kafka在某些限定情况下可以提供精确的一次（exactly-once）保证。 让我们首先理解一下上述术语的含义： 至多一次投递：消息绝对不会被重复投递，但是消息可能丢失 至少一次投递：消息绝对不会被 ...

1.消费端弄丢了数据 唯一可能导致消费者弄丢数据的情况，就是说，你消费到了这个消息，然后消费者那边自动提交了 offset，让 Kafka 以为你已经消费好了这个消息，但其实你才刚准备处理这个消息，你还没处理，你自己就挂了，此时这条消息就丢咯。 这不是跟 RabbitMQ 差不多吗，大家都知道 ...

消息可靠性的保证基本上我们都要从3个方面来阐述（这样才比较全面，无懈可击） 1 生产者发送消息丢失 kafka支持3种方式发送消息，这也是常规的3种方式，发送后不管结果、同步发送、异步发送，基本上所有的消息队列都是这样玩的。 发送并忘记，直接调用发送send方法，不管结果，虽然可以开启自动 ...

，Kafka的可靠性问题，有哪些机会可能丢数据？ 从producer，broker，consumer的角度 ...

转自：http://www.cnblogs.com/fxjwind/p/3810740.html?utm_source=tuicool&utm_medium=referral 附kafka consumer防止数据丢失：http://www.fwqtg.net ...

那些情况会失败 网络问题有很多原因出发失败。防火墙也可能会中断Idle连接，网络失败不是很快确定的。 硬件和软件也会导致系统崩溃。客户端软件保持运行，而逻辑错误也可能会导致channel和conne ...

一、可靠性问题分析 消息的可靠性投递是使用消息中间件不可避免的问题，不管是使用哪种MQ都存在这种问题，接下来要说的就是在RabbitMQ中如何解决可靠性问题；在前面 在前面说过消息的传递过程中有三个对象参与分别是：生产者、RabbitMQ(broker)、消费者；接下 ...

一、kafka的存储机制 kafka通过topic来分主题存放数据，主题内有分区，分区可以有多个副本，分区的内部还细分为若干个segment。 所谓的分区其实就是在kafka对应存储目录下创建的文件夹，文件夹的名字是主题名加上分区编号，编号从0开始。 1、segment ...