我們暫且不考慮寫磁盤的具體過程，先大致看看下面的圖，這代表了 Kafka 的核心架構原理。 Kafka 分布式存儲架構 那么現在問題來了，如果每天產生幾十 TB 的數據，難道都寫一台 ...

一 重復消息 為什么會出現消息重復？消息重復的原因有兩個：1.生產時消息重復，2.消費時消息重復。 1.1 生產時消息重復 由於生產者發送消息給MQ，在MQ確認的時候出現了網絡波動，生產者沒有收到確認，實際上MQ已經接收到了消息。這時候生產者就會重新發送一遍這條消息。 生產者中如果消息未被 ...

一 重復消息 為什么會出現消息重復？消息重復的原因有兩個：1.生產時消息重復，2.消費時消息重復。 1.1 生產時消息重復 由於生產者發送消息給MQ，在MQ確認的時候出現了網絡波動，生產者沒有收到確認，實際上MQ已經接收到了消息。這時候生產者就會重新發送一遍這條消息。 生產者中如果消息未被 ...

1.冪等性 冪等（idempotent、idempotence）是一個數學與計算機學概念，常見於抽象代數中。 在編程中一個冪等操作的特點是其任意多次執行所產生的影響均與一次執行的影響相同。冪等函數，或冪等方法，是指可以使用相同參數重復執行，並能獲得相同結果的函數。這些函數不會影響系統狀態 ...

（同步）存活保證數據安全 3）從消費端：關閉自動提交，使用手動提交。 數據不重復消費 1）生產端 ...

一、如何保證百萬級寫入速度： 目錄 1、頁緩存技術 + 磁盤順序寫 2、零拷貝技術 3、最后的總結 “這篇文章來聊一下Kafka的一些架構設計原理，這也是互聯網公司面試時非常高頻的技術考點。 Kafka是高吞吐低延遲的高並發、高性能的消息中間件，在大數據領域有極為廣泛的運用。配置良好 ...

正文前先來一波福利推薦： 福利一： 百萬年薪架構師視頻，該視頻可以學到很多東西，是本人花錢買的VIP課程，學習消化了一年，為了支持一下女朋友公眾號也方便大家學習，共享給大家。 福利二： 畢業 ...

RabbitMQ中的queue（隊列）中的消息只能被一個消費者所消費，然后消費者在消費消息的過程中是無序的。這很像我們小時候下課去小賣鋪買東西,大家總是一窩蜂涌到小賣鋪,誰先結賬是隨機的,有可能是小紅或者小明; RabbitMQ為了保證消費有序;將一個queue拆分為了多個queue,這樣一來 ...