背景引入 这篇文章,我们来聊聊在线上生产环境使用消息中间件技术的时候,从前到后的全链路到底如何保证数据不能丢失。 这个问题,在互联网公司面试的时候高频出现,而且也是非常现实的生产环境问题。 如果你的简历中写了自己熟悉MQ技术(RabbitMQ、RocketMQ、Kafka),而且在项目里有使 ...
前情提示 上篇文章: 互联网面试必杀:如何保证消息中间件全链路数据 不丢失:第三篇 ,我们分析了 RabbitMQ 开启手动ack机制保证消费端数据不丢失的时候,prefetch 机制对消费者的吞吐量以及内存消耗的影响。 通过分析,我们知道了 prefetch 过大容易导致内存溢出,prefetch 过小又会导致消费吞吐量过低,所以在实际项目中需要慎重测试和设置。 这篇文章,我们转移到消息中间件的 ...
2019-01-21 09:58 3 1202 推荐指数:
背景引入 这篇文章,我们来聊聊在线上生产环境使用消息中间件技术的时候,从前到后的全链路到底如何保证数据不能丢失。 这个问题,在互联网公司面试的时候高频出现,而且也是非常现实的生产环境问题。 如果你的简历中写了自己熟悉MQ技术(RabbitMQ、RocketMQ、Kafka),而且在项目里有使 ...
前情提示 上一篇文章《互联网面试必杀:如何保证消息中间件全链路数据100%不丢失:第一篇》,我们初步介绍了之前制定的那些消息中间件数据不丢失的技术方案遗留的问题。 一个最大的问题,就是生产者投递出去的消息,可能会丢失。 丢失的原因有很多,比如消息在网络传输到一半的时候因为网络故障就丢了 ...
前情提示 上一篇文章:<<互联网面试必杀:如何保证消息中间件全链路数据100%不丢失:第二篇>>,我们分析了 ack 机制的底层实现原理(delivery tag机制),还有消除处理失败时的nack机制如何触发消息重发。 通过这个,已经让大家进一步对消费端保证数据不丢失 ...
互联网架构基础中间件 https://www.cnblogs.com/lovecindywang/p/9652134.html 朱晔的互联网架构实践心得S1E5:不断耕耘的基础中间件 【下载本文PDF进行阅读】 一般而言中间件和框架的区别是,中间件是独立运行的用于处理某项专门业务的CS程序 ...
工业物联网之设备云控1 技术方案 工业物联网之设备云控2 OPC中间件程序 工业物联网之设备云控3 QuartzNet任务调度程序 工业物联网之设备云控4 管理平台 工业物联网之设备云控5 对接流程 用途:利用OPC采集KEPServer数据,并上报到webapi接口,接口查询点位 ...
朱晔的互联网架构实践心得S1E5:不断耕耘的基础中间件 【下载本文PDF进行阅读】 一般而言中间件和框架的区别是,中间件是独立运行的用于处理某项专门业务的CS程序,会有配套的客户端和服务端,框架虽然也是处理某个专门业务的但是它不是独立程序,是寄宿在宿主程序进程内的一套类库 ...
1、RabbitMQ和Kafka的区别和底层原理?读过源码吗? 2、如何防止重复消费(幂等性)? 3、如何保证顺序消费消息? 4、如何防止消息丢失?事务消息,高可用,整个消息发送消费的流程, 5、挤压场景怎么解决? ...
一、 为什么使用消息中间件? 假设用户登录系统 传统方式 用户登录 调用短息服务 积分服务 日志服务等各种服务 如果短息服务出现问题就无法发送短信而且用户登录成功必须所有调用全部完成返回给用户登录系统一条用户登录成功信息。从整体业务上讲 用户 ...