原文:互聯網面試必殺:如何保證消息中間件全鏈路數據100%不丟失:第四篇

前情提示 上篇文章: 互聯網面試必殺:如何保證消息中間件全鏈路數據 不丟失:第三篇 ,我們分析了 RabbitMQ 開啟手動ack機制保證消費端數據不丟失的時候,prefetch 機制對消費者的吞吐量以及內存消耗的影響。 通過分析,我們知道了 prefetch 過大容易導致內存溢出,prefetch 過小又會導致消費吞吐量過低,所以在實際項目中需要慎重測試和設置。 這篇文章,我們轉移到消息中間件的 ...

2019-01-21 09:58 3 1202 推薦指數:

查看詳情

互聯網面試必殺:如何保證消息中間件鏈路數據100%不丟失:第一

背景引入 這篇文章,我們來聊聊在線上生產環境使用消息中間件技術的時候,從前到后的鏈路到底如何保證數據不能丟失。 這個問題,在互聯網公司面試的時候高頻出現,而且也是非常現實的生產環境問題。 如果你的簡歷中寫了自己熟悉MQ技術(RabbitMQ、RocketMQ、Kafka),而且在項目里有使 ...

Sat Jan 12 05:56:00 CST 2019 1 3647
互聯網面試必殺:如何保證消息中間件鏈路數據100%不丟失:第二

前情提示 上一文章《互聯網面試必殺:如何保證消息中間件鏈路數據100%不丟失:第一》,我們初步介紹了之前制定的那些消息中間件數據丟失的技術方案遺留的問題。 一個最大的問題,就是生產者投遞出去的消息,可能會丟失丟失的原因有很多,比如消息在網絡傳輸到一半的時候因為網絡故障就丟了 ...

Sun Jan 20 04:10:00 CST 2019 0 1507
互聯網面試必殺:如何保證消息中間件鏈路數據100%不丟失:第三

前情提示 上一文章:<<互聯網面試必殺:如何保證消息中間件鏈路數據100%不丟失:第二>>,我們分析了 ack 機制的底層實現原理(delivery tag機制),還有消除處理失敗時的nack機制如何觸發消息重發。 通過這個,已經讓大家進一步對消費端保證數據丟失 ...

Sun Jan 20 20:01:00 CST 2019 1 1304
互聯網架構-基礎中間件

互聯網架構基礎中間件 https://www.cnblogs.com/lovecindywang/p/9652134.html 朱曄的互聯網架構實踐心得S1E5:不斷耕耘的基礎中間件 【下載本文PDF進行閱讀】 一般而言中間件和框架的區別是,中間件是獨立運行的用於處理某項專門業務的CS程序 ...

Fri Sep 21 17:19:00 CST 2018 0 1402
工業互聯網數據采集2 OPC中間件程序

工業物聯網之設備雲控1 技術方案 工業物聯網之設備雲控2 OPC中間件程序 工業物聯網之設備雲控3 QuartzNet任務調度程序 工業物聯網之設備雲控4 管理平台 工業物聯網之設備雲控5 對接流程 用途:利用OPC采集KEPServer數據,並上報到webapi接口,接口查詢點位 ...

Sun Jun 20 21:19:00 CST 2021 0 289
朱曄的互聯網架構實踐心得S1E5:不斷耕耘的基礎中間件

朱曄的互聯網架構實踐心得S1E5:不斷耕耘的基礎中間件 【下載本文PDF進行閱讀】 一般而言中間件和框架的區別是,中間件是獨立運行的用於處理某項專門業務的CS程序,會有配套的客戶端和服務端,框架雖然也是處理某個專門業務的但是它不是獨立程序,是寄宿在宿主程序進程內的一套類庫 ...

Sun Sep 16 04:25:00 CST 2018 2 956
面試題-消息中間件

1、RabbitMQ和Kafka的區別和底層原理?讀過源碼嗎? 2、如何防止重復消費(冪等性)? 3、如何保證順序消費消息? 4、如何防止消息丟失?事務消息,高可用,整個消息發送消費的流程, 5、擠壓場景怎么解決? ...

Fri Apr 03 18:25:00 CST 2020 0 889
Java消息中間件--初級

一、 為什么使用消息中間件? 假設用戶登錄系統 傳統方式 用戶登錄 調用短息服務 積分服務 日志服務等各種服務 如果短息服務出現問題就無法發送短信而且用戶登錄成功必須所有調用全部完成返回給用戶登錄系統一條用戶登錄成功信息。從整體業務上講 用戶 ...

Sun Jun 03 19:56:00 CST 2018 0 11914
 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM