作者:_BKing
地址:cnblogs.com/xiaowei123/p/13211403.html
最近都沒看Redis,現在回來溫習下,現在從Redis的三大緩存開始重新探一探有多深有多淺(▽)
讓我來開始知識的醍醐灌頂把!是時候表演真正的技術了。(嗶嗶嗶嗶....)
鐵子們,看在二哈這么賣力的份上,如果覺得本文對你有幫助的話,請動動你的小手,比個❥(^_-)愛心推薦喲。
接下來就開始我們的Redis的三大緩存問題之旅,讓我們坐上二哈的小飛船游一游這聖女峰。
在Redis緩存中有三個必須要知道概念:緩存穿透、緩存擊穿和緩存雪崩。
緩存穿透
那什么是緩存穿透,它就是指當用戶在查詢一條數據的時候,而此時數據庫和緩存卻沒有關於這條數據的任何記錄,而這條數據在緩存中沒找到就會向數據庫請求獲取數據。它拿不到數據時,是會一直查詢數據庫,這樣會對數據庫的訪問造成很大的壓力。
如:用戶查詢一個 id = -1 的商品信息,一般數據庫 id 值都是從 1 開始自增,很明顯這條信息是不在數據庫中,當沒有信息返回時,會一直向數據庫查詢,給當前數據庫的造成很大的訪問壓力。
這時候我們要想一想,該如何解決這個問題呢?o(╥﹏╥)o
一般我們可以想到從緩存開始出發,想如果我們給緩存設置一個如果當前數據庫不存在的信息,把它緩存成一個空對象,返回給用戶。
_沒錯,這是一個解決方案,也就是我們常說的緩存空對象(代碼維護簡單,但是效果不是很好)。
Redis 也為我們提供了一種解決方案,那就是布隆過濾器(代碼維護比較復雜,效果挺好的)。
那接下來,二哈先解釋下這兩種方案:
緩存空對象
那什么是緩存空對象呀,二哈!別急,緩存空對象它就是指一個請求發送過來,如果此時緩存中和數據庫都不存在這個請求所要查詢的相關信息,那么數據庫就會返回一個空對象,並將這個空對象和請求關聯起來存到緩存中,當下次還是這個請求過來的時候,這時緩存就會命中,就直接從緩存中返回這個空對象,這樣可以減少訪問數據庫的壓力,提高當前數據庫的訪問性能。我們接下來可以看下面這個流程呀~
這時候,我們就會問了呀 ,如果大量不存在的請求過來,那么這時候緩存豈不是會緩存許多空對象了嗎~~
沒錯哦!這也是使用緩存空對象會導致的一個問題:如果時間一長這樣會導致緩存中存在大量空對象,這樣不僅會占用許多的內存空間,還會浪費許多資源呀!。那這有沒有什么可以解決的方法呢?我們來想一想:我們可以將這些對象在一段時間之后清理下不久可以了嗎 ~
嗯嗯,沒錯!在想想 Redis 里是不是給我們提供了有關過期時間的命令呀(▽),這樣我們可以在設置空對象的時間,順便設置一個過期時間,就可以解決個問題了呀!
號外號外,大家可以關注公眾號Java技術棧在后台回復福利可以獲取一份我整理的最新面試題資料。
setex key seconds valule:設置鍵值對的同時指定過期時間(s)
在Java 中直接調用 API 操作即可:
redisCache.put(Integer.toString(id), null, 60) //過期時間為 60s
布隆過濾器
那布隆過濾器是不是不是一個過濾器,過濾東西的呀!哎呀,你太聰明了,沒錯它就是用來過濾東西的,它是一種基於概率的數據結構,主要使用愛判斷當前某個元素是否在該集合中,運行速度快。我們也可以簡單理解為是一個不怎么精確的 set 結構(set 具有去重的效果)。
但是有個小問題是:當你使用它的 contains 方法去判斷某個對象是否存在時,它可能會誤判。也就是說布隆過濾器不是特別不精確,但是只要參數設置的合理,它的精確度可以控制的相對足夠精確,只會有小小的誤判概率(這是可以接受的呀 ~)。當布隆過濾器說某個值存在時,這個值可能不存在;當它說不存在時,那就肯定不存在。
這里有個典型的例子呀,來自錢大:
打個比方,當它說不認識你時,肯定就不認識;當它說見過你時,可能根本就沒見過面,不過因為你的臉跟它認識的人中某臉比較相似 (某些熟臉的系數組合),所以誤判以前見過你。
在上面的使用場景中,布隆過濾器能准確過濾掉那些已經看過的內容,那些沒有看過的新內容,它也會過濾掉極小一部分 (誤判),但是絕大多數新內容它都能准確識別。這樣就可以完全保證推薦給用戶的內容都是無重復的。
說了這么久,那布隆過濾器到底有什么特點呢:
特點嗎,多多來讓一個個跟你吹吹(吹到你懷疑人生(≧∇≦)ノ)
-
一個非常大的二進制位數組(數組中只存在 0 和 1)
-
擁有若干個哈希函數(Hash Function)
-
在空間效率和查詢效率都非常高
-
布隆過濾器不會提供刪除方法,在代碼維護上比較困難。
每個布隆過濾器對應到 Redis 的數據結構里面就是一個大型的位數組和幾個不一樣的無偏 hash 函數。所謂無偏就是能夠把元素的 hash 值算得比較均勻。具體可以參考這篇文章:布隆過濾器到底有什么用?。
向布隆過濾器中添加 key 時,會使用多個 hash 函數對 key 進行 hash 算得一個整數索引值然后對位數組長度進行取模運算得到一個位置,每個 hash 函數都會算得一個不同的位置。再把位數組的這幾個位置都置為 1 就完成了 add 操作。( 每一個 key 都通過若干的hash函數映射到一個巨大位數組上,映射成功后,會在把位數組上對應的位置改為1。)
那為什么布隆過濾器會存在誤判率呢?
誤判嗎?人生哪有不摔跤,只要鋤頭揮得好,照樣能挖到。(咳咳咳,說偏了...)
其實它會誤判是如下這個情況:
當 key1 和 key2 映射到位數組上的位置為 1 時,假設這時候來了個 key3,要查詢是不是在里面,恰好 key3 對應位置也映射到了這之間,那么布隆過濾器會認為它是存在的,這時候就會產生誤判(因為明明 key3 是不在的)。
O(∩_∩)O哈哈~,這時候你會問了:如何提高布隆過濾器的准確率呢?
要提高布隆過濾器的准確率,就要說到影響它的三個重要因素:
-
哈希函數的好壞
-
存儲空間大小
-
哈希函數個數
hash函數的設計也是一個十分重要的問題,對於好的hash函數能大大降低布隆過濾器的誤判率。
(這就好比優秀的配件之所以能夠運行這么順暢就在於其內部設計的得當。)
同時,對於一個布隆過濾器來說,如果其位數組越大的話,那么每個key通過hash函數映射的位置會變得稀疏許多,不會那么緊湊,有利於提高布隆過濾器的准確率。
同時,對於一個布隆過濾器來說,如果key通過許多hash函數映射,那么在位數組上就會有許多位置有標志,這樣當用戶查詢的時候,在通過布隆過濾器來找的時候,誤判率也會相應降低。
對於其內部原理,有興趣的同學可以看看關於布隆過濾的數學知識,里面有關於它的設計算法和數學知識。(其實也挺簡單~)
緩存擊穿
緩存擊穿是指有某個key經常被查詢,經常被用戶特殊關懷,用戶非常 love 它 (▽),也就類比“熟客” 或者 一個key經常不被訪問。推薦閱讀:緩存三大問題及解決方案。
但是這時候,如果這個key在緩存的過期時間失效的時候或者這是個冷門key時,這時候突然有大量有關這個key的訪問請求,這樣會導致大並發請求直接穿透緩存,請求數據庫,瞬間對數據庫的訪問壓力增大。
歸納起來:造成緩存擊穿的原因有兩個。
(1)一個“冷門”key,突然被大量用戶請求訪問。
(2)一個“熱門”key,在緩存中時間恰好過期,這時有大量用戶來進行訪問。
對於緩存擊穿的問題:我們常用的解決方案是加鎖。對於key過期的時候,當key要查詢數據庫的時候加上一把鎖,這時只能讓第一個請求進行查詢數據庫,然后把從數據庫中查詢到的值存儲到緩存中,對於剩下的相同的key,可以直接從緩存中獲取即可。
如果我們是在單機環境下:直接使用常用的鎖即可(如:Lock、Synchronized等),在分布式環境下我們可以使用分布式鎖,如:基於數據庫、基於Redis 或者 zookeeper 的分布式鎖。
緩存雪崩
緩存雪崩是指在某一個時間段內,緩存集中過期失效,如果這個時間段內有大量請求,而查詢數據量巨大,所有的請求都會達到存儲層,存儲層的調用量會暴增,引起數據庫壓力過大甚至宕機。
原因:
-
Redis突然宕機
-
大部分數據失效
舉個例子理解下吧:
比如我們基本上都經歷過購物狂歡節,假設商家舉辦 23:00-24:00 商品打骨折促銷活動。程序小哥哥在設計的時候,在 23:00 把商家打骨折的商品放到緩存中,並通過redis的expire設置了過期時間為1小時。
這個時間段許多用戶訪問這些商品信息、購買等等。但是剛好到了24:00點的時候,恰好還有許多用戶在訪問這些商品,這時候對這些商品的訪問都會落到數據庫上,導致數據庫要抗住巨大的壓力,稍有不慎會導致,數據庫直接宕機(over)。
當商品沒有失效的時候是這樣的:
當緩存GG(失效)的時候卻是這樣的:
對於緩存雪崩有以下解決方案:
(1)redis高可用
Redis有可能掛掉,多增加幾台redis實例,(一主多從或者多主多從),這樣一台掛掉之后其他的還可以繼續工作,其實就是搭建的集群。
(2)限流降級
在緩存失效后,通過加鎖或者隊列來控制讀數據庫寫緩存的線程數量,對某個key只允許一個線程查詢數據和寫緩存,其他線程等待。
(3)數據預熱
數據加熱的含義就是在正式部署之前,我先把可能的數據先預先訪問一遍,這樣部分可能大量訪問的數據就會加載到緩存中。在即將發生大並發訪問前手動觸發加載緩存不同的key。
(4)不同的過期時間
設置不同的過期時間,讓緩存失效的時間點盡量均勻。
_(感興趣的小伙伴,可以幫忙點個推薦(*  ̄3)(ε ̄ _)謝謝呀,(づ ̄3 ̄)づ╭❤~愛你們)__
推薦去我的博客閱讀更多:
2.Spring MVC、Spring Boot、Spring Cloud 系列教程
3.Maven、Git、Eclipse、Intellij IDEA 系列工具教程
覺得不錯,別忘了點贊+轉發哦!