十分鍾徹底掌握緩存擊穿、緩存穿透、緩存雪崩


大家好,我是老三,刷題刷煩了……

寫篇文章緩一下,分享一下老八股:緩存擊穿緩存穿透緩存雪崩

在了解這三大問題之前,我們要理解,常用的分布式緩存Redis單機並發量能達到萬級,常用的關系型數據庫MySQL一般並發量是千級,他們支持的並發量可能差十倍,所以要盡可能把流量攔截在緩存層。

為什么呢?就像是大湖里多排點水,就可能把小河道沖垮,不知道你聽過沒——長江之水天上來,白洋淀里把不住。

緩存擊穿

什么是緩存擊穿

先從緩存擊穿開始。

緩存擊穿: 一個並發訪問量比較大的key在某個時間過期,導致所有的請求直接打在DB上。

緩存擊穿

緩存擊穿會增大數據庫的負載,我們看看怎么緩解。

緩存擊穿如何解決

加鎖更新

查詢緩存,發現緩存中不存在,加鎖,讓其它線程等待,只讓一個線程去更新緩存。

加鎖更新

異步更新

還有一個可行的方案是把緩存設置永不過期。那緩存怎么更新呢?通過異步的方式去更新緩存。

比如后台設置一個守護線程定時更新緩存,但這種定時比較難以把握。

異步更新機制實際上更適合用於緩存預熱。

緩存穿透

什么是緩存穿透

緩存穿透:緩存穿透指的查詢緩存和數據庫中都不存在的數據,這樣每次請求直接打到數據庫,就好像緩存不存在一樣。

緩存穿透

緩存穿透將導致不存在的數據每次請求都要到存儲層去查詢,失去了緩存保護后端存儲的意義。

緩存穿透可能會使后端存儲負載加大,如果發現大量存儲層空命中,可能就是出現了緩存穿透問題。

緩存穿透可能有兩種原因:

  1. 自身業務代碼問題
  2. 惡意攻擊,爬蟲造成空命中

我們來看看如何解決。

緩存穿透如何解決

緩存空值/默認值

一種方式是在數據庫不命中之后,把一個空對象或者默認值保存到緩存,之后再訪問這個數據,就會從緩存中獲取,這樣就保護了數據庫。

緩存空值

緩存空值有兩大問題:

  1. 空值做了緩存,意味着緩存層中存了更多的鍵,需要更多的內存空間(如果是攻擊,問題更嚴重),比較有效的

    方法是針對這類數據設置一個較短的過期時間,讓其自動剔除。

  2. 緩存層和存儲層的數據會有一段時間窗口的不一致,可能會對業務有一定影響。

    例如過期時間設置為5分鍾,如果此時存儲層添加了這個數據,那此段時間就會出現緩存層和存儲層數據的不一致。

    這時候可以利用消息隊列或者其它異步方式清理緩存中的空對象。

布隆過濾器

除了緩存空對象,我們還可以在存儲和緩存之前,加一個布隆過濾器,做一層過濾。

布隆過濾器里會保存數據是否存在,如果判斷數據不不能再,就不會訪問存儲。

布隆過濾器過濾

那布隆過濾器是什么玩意兒?查找它會不會很慢?

布隆過濾器是什么?

不知道你對哈希表了解多少,布隆過濾器是一個類似的東西。

它是一個連續的數據結構,每個存儲位存儲都是一個bit,即0或者1, 來標識數據是否存在。

存儲數據的時時候,使用K個不同的哈希函數將這個變量映射為bit列表的的K個點,把它們置為1。

布隆過濾器結構

我們判斷緩存key是否存在,同樣,K個哈希函數,映射到bit列表上的K個點,判斷是不是1:

  • 如果全不是1,那么key不存在;
  • 如果都是1,也只是表示key可能存在。

至於為什么?因為哈希函數是存在碰撞的可能的。

關於緩存穿透的兩種主要解決方案,我們簡單對比一下:

緩存空對象核布隆過濾器方案對比

緩存雪崩

接下來我們看最嚴重的一種情況,緩存雪崩。

什么是緩存雪崩

緩存雪崩: 當某⼀時刻發⽣⼤規模的緩存失效的情況,例如緩存服務宕機、大量key在同一時間過期,這樣的后果就是⼤量的請求進來直接打到DB上,可能導致整個系統的崩潰,稱為雪崩。

緩存雪崩

緩存雪崩如何解決

緩存雪崩是三大緩存問題里最嚴重的一種,我們來看看怎么預防和處理。

提高緩存可用性

  • 集群部署:通過集群來提升緩存的可用性,可以利用Redis本身的Redis Cluster或者第三方集群方案如Codis等。
  • 多級緩存:設置多級緩存,第一級緩存失效的基礎上,訪問二級緩存,每一級緩存的失效時間都不同。

過期時間

  • 均勻過期:為了避免大量的緩存在同一時間過期,可以把不同的 key 過期時間隨機生成,避免過期時間太過集中。
  • 熱點數據永不過期。

熔斷降級

  • 服務熔斷:當緩存服務器宕機或超時響應時,為了防止整個系統出現雪崩,暫時停止業務服務訪問緩存系統。
  • 服務降級:當出現大量緩存失效,而且處在高並發高負荷的情況下,在業務系統內部暫時舍棄對一些非核心的接口和數據的請求,而直接返回一個提前准備好的 fallback(退路)錯誤處理信息。

總結

一張圖總結:

面渣逆襲-第 3 頁



參考:

[1]. 《Redis開發與運維》

[2]. 《極客時間 高並發系統設計四十問》

[4]. 緩存穿透、緩存擊穿、緩存雪崩,看這篇就夠了

[5]. 布隆過濾器,沒那么難


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM