互聯網面試必殺：如何保證消息中間件全鏈路數據100%不丟失：第四篇
前情提示 上篇文章：《互聯網面試必殺：如何保證消息中間件全鏈路數據100%不丟失：第三篇》，我們分析了 RabbitMQ 開啟手動ack機制保證消費端數據不丟失的時候，prefetch 機制對消費者的吞吐量以及內存消耗的影響。 通過分析，我們知道了 prefetch 過大容易導致內存溢出 ...
原文：互聯網面試必殺：如何保證消息中間件全鏈路數據100%不丟失：第一篇
背景引入 這篇文章，我們來聊聊在線上生產環境使用消息中間件技術的時候，從前到后的全鏈路到底如何保證數據不能丟失。 這個問題，在互聯網公司面試的時候高頻出現，而且也是非常現實的生產環境問題。 如果你的簡歷中寫了自己熟悉MQ技術 RabbitMQ RocketMQ Kafka ，而且在項目里有使用的經驗，那么非常實際的一個生產環境問題就是：投遞消息到MQ，然后從MQ消費消息來處理的這個過程，數據到底會 ...
2019-01-11 21:56 1 3647 推薦指數：
相關推薦
互聯網面試必殺：如何保證消息中間件全鏈路數據100%不丟失：第二篇
前情提示 上一篇文章《互聯網面試必殺：如何保證消息中間件全鏈路數據100%不丟失：第一篇》,我們初步介紹了之前制定的那些消息中間件數據不丟失的技術方案遺留的問題。 一個最大的問題，就是生產者投遞出去的消息，可能會丟失。 丟失的原因有很多，比如消息在網絡傳輸到一半的時候因為網絡故障就丟了 ...
互聯網面試必殺：如何保證消息中間件全鏈路數據100%不丟失：第三篇
前情提示 上一篇文章：<<互聯網面試必殺：如何保證消息中間件全鏈路數據100%不丟失：第二篇>>，我們分析了 ack 機制的底層實現原理（delivery tag機制），還有消除處理失敗時的nack機制如何觸發消息重發。 通過這個，已經讓大家進一步對消費端保證數據不丟失 ...
互聯網架構-基礎中間件
互聯網架構基礎中間件 https://www.cnblogs.com/lovecindywang/p/9652134.html 朱曄的互聯網架構實踐心得S1E5：不斷耕耘的基礎中間件 【下載本文PDF進行閱讀】 一般而言中間件和框架的區別是，中間件是獨立運行的用於處理某項專門業務的CS程序 ...
工業互聯網之數據采集2 OPC中間件程序
工業物聯網之設備雲控1 技術方案 工業物聯網之設備雲控2 OPC中間件程序 工業物聯網之設備雲控3 QuartzNet任務調度程序 工業物聯網之設備雲控4 管理平台 工業物聯網之設備雲控5 對接流程 用途：利用OPC采集KEPServer數據，並上報到webapi接口，接口查詢點位 ...
大熊君大話NodeJS之------基於Connect中間件的小應用（Bigbear記事本應用之第一篇）
一，開篇分析 大家好哦，大熊君又來了，昨天因為有點個人的事沒有寫博客，今天又出來了一篇，這篇主要是寫一個記事本的小應用，前面的文章， 我也介紹過“Connect”中間件的使用以及“Mongodb”的用法，今天就結合這兩個中間件，寫個實際的例子，不斷完善和重構，已達到 充分學習的目的。好了 ...
朱曄的互聯網架構實踐心得S1E5：不斷耕耘的基礎中間件
朱曄的互聯網架構實踐心得S1E5：不斷耕耘的基礎中間件 【下載本文PDF進行閱讀】 一般而言中間件和框架的區別是，中間件是獨立運行的用於處理某項專門業務的CS程序，會有配套的客戶端和服務端，框架雖然也是處理某個專門業務的但是它不是獨立程序，是寄宿在宿主程序進程內的一套類庫 ...
面試題-消息中間件
1、RabbitMQ和Kafka的區別和底層原理？讀過源碼嗎？ 2、如何防止重復消費（冪等性）？ 3、如何保證順序消費消息？ 4、如何防止消息丟失？事務消息，高可用，整個消息發送消費的流程， 5、擠壓場景怎么解決？ ...