前言
關於Redis的知識,總結了一個腦圖分享給大家
1、在項目中緩存是如何使用的?為什么要用緩存?緩存使用不當會造成什么后果?
面試官心理分析
面試題剖析
這個,需要結合自己項目的業務來。
為什么要用緩存?
用緩存,主要有兩個用途:高性能、高並發。
假設這么個場景,你有個操作,一個請求過來,吭哧吭哧你各種亂七八糟操作 mysql,半天查出來一個結果,耗時 600ms。但是這個結果可能接下來幾個小時都不會變了,或者變了也可以不用立即反饋給用戶。那么此時咋辦?
就是說對於一些需要復雜操作耗時查出來的結果,且確定后面不怎么變化,但是有很多讀請求,那么直接將查詢出來的結果放在緩存中,后面直接讀緩存就好。
所以要是你有個系統,高峰期一秒鍾過來的請求有 1 萬,那一個 mysql 單機絕對會死掉。你這個時候就只能上緩存,把很多數據放緩存,別放 mysql。緩存功能簡單,說白了就是 key-value 式操作,單機支撐的並發量輕松一秒幾萬十幾萬,支撐高並發 so easy。單機承載並發量是 mysql 單機的幾十倍。
用了緩存之后會有什么不良后果?
常見的緩存問題有以下幾個:
2、redis 和 memcached 有什么區別?redis 的線程模型是什么?為什么 redis 單線程卻能支撐高並發?
面試官心理分析
面試題剖析
redis 支持復雜的數據結構
redis 原生支持集群模式
性能對比
redis 的線程模型
文件事件處理器的結構包含 4 個部分:
-
多個 socket
-
IO 多路復用程序
-
文件事件分派器
-
事件處理器(連接應答處理器、命令請求處理器、命令回復處理器)
來看客戶端與 redis 的一次通信過程:

文件事件分派器從隊列中獲取 socket,交給連接應答處理器。連接應答處理器會創建一個能與客戶端通信的 socket01,並將該 socket01 的 AE_READABLE 事件與命令請求處理器關聯。
如果此時客戶端准備好接收返回結果了,那么 redis 中的 socket01 會產生一個 AE_WRITABLE 事件,同樣壓入隊列中,事件分派器找到相關聯的命令回復處理器,由命令回復處理器對 socket01 輸入本次操作的一個結果,比如 ok,之后解除 socket01 的 AE_WRITABLE 事件與命令回復處理器的關聯。
為啥 redis 單線程模型也能效率這么高?
-
純內存操作
-
核心是基於非阻塞的 IO 多路復用機制
-
單線程反而避免了多線程的頻繁上下文切換問題
3、redis 都有哪些數據類型?分別在哪些場景下使用比較合適?
面試官心理分析
-
看看你到底有沒有全面的了解 redis 有哪些功能,一般怎么來用,啥場景用什么,就怕你別就會最簡單的 KV 操作;
-
看看你在實際項目里都怎么玩兒過 redis。
面試題剖析
-
string
-
hash
-
list
-
set
-
Zset(sorted set)
這是最簡單的類型,就是普通的set和get,做簡單的KV緩存。
hash
hset person name bingo hset person age 20 hset person id 1 hget person name person = { "name": "bingo", "age": 20, "id": 1 }
list 是有序列表,這個可以玩兒出很多花樣。
lpush mylist 1 lpush mylist 2 lpush mylist 3 4 5 # 1 rpop mylist
set 是無序集合,自動去重。
#-------操作一個 set------- # 添加元素 sadd mySet 1 # 查看全部元素 smembers mySet # 判斷是否包含某個值 sismember mySet 3 # 刪除某個/些元素 srem mySet 1 srem mySet 2 4 # 查看元素個數 scard mySet # 隨機刪除一個元素 spop mySet #-------操作多個 set------- # 將一個 set 的元素移動到另外一個 set smove yourSet mySet 2 # 求兩 set 的交集 sinter yourSet mySet # 求兩 set 的並集 sunion yourSet mySet # 求在 yourSet 中而不在 mySet 中的元素 sdiff yourSet mySet
sorted set 是排序的 set,去重但可以排序,寫進去的時候給一個分數,自動根據分數排序。
zadd board 85 zhangsan zadd board 72 lisi zadd board 96 wangwu zadd board 63 zhaoliu # 獲取排名前三的用戶(默認是升序,所以需要 rev 改為降序) zrevrange board 0 3 # 獲取某用戶的排名 zrank board zhaoliu
4、redis 的過期策略都有哪些?內存淘汰機制都有哪些?手寫一下LRU代碼實現?
面試官心理分析
面試題剖析
內存淘汰機制
-
noeviction: 當內存不足以容納新寫入數據時,新寫入操作會報錯,這個一般沒人用吧,實在是太惡心了。
-
allkeys-lru:當內存不足以容納新寫入數據時,在鍵空間中,移除最近最少使用的 key(這個是最常用的)。
-
allkeys-random:當內存不足以容納新寫入數據時,在鍵空間中,隨機移除某個 key,這個一般沒人用吧,為啥要隨機,肯定是把最近最少使用的 key 給干掉啊。
-
volatile-lru:當內存不足以容納新寫入數據時,在設置了過期時間的鍵空間中,移除最近最少使用的 key(這個一般不太合適)。
-
volatile-random:當內存不足以容納新寫入數據時,在設置了過期時間的鍵空間中,隨機移除某個 key。
-
volatile-ttl:當內存不足以容納新寫入數據時,在設置了過期時間的鍵空間中,有更早過期時間的 key 優先移除。
你可以現場手寫最原始的 LRU 算法,那個代碼量太大了,似乎不太現實。
class LRUCache<K, V> extends LinkedHashMap<K, V> { private final int CACHE_SIZE; /** * 傳遞進來最多能緩存多少數據 * * @param cacheSize 緩存大小 */ public LRUCache(int cacheSize) { // true 表示讓 linkedHashMap 按照訪問順序來進行排序,最近訪問的放在頭部,最老訪問的 放在尾部。 super((int) Math.ceil(cacheSize / 0.75) + 1, 0.75f, true); CACHE_SIZE = cacheSize; } @Override protected Boolean removeEldestEntry(Map.Entry<K, V> eldest) { // 當 map 中的數據量大於指定的緩存個數的時候,就自動刪除最老的數據。 return size() > CACHE_SIZE; } }
5、如何保證 redis 的高並發和高可用?redis 的主從復制原理能介紹一下么?redis 的哨兵原理能介紹一下么?
面試官心理分析
其實問這個問題,主要是考考你,redis 單機能承載多高並發?如果單機扛不住如何擴容扛更多的並發?redis 會不會掛?既然 redis 會掛那怎么保證 redis 是高可用的?
其實針對的都是項目中你肯定要考慮的一些問題,如果你沒考慮過,那確實你對生產系統中的問題思考太少。
面試題剖析
由於此節內容較多,因此,會分為兩個小節進行講解。 - redis 主從架構 - redis 基於哨兵實現高可用redis 實現高並發主要依靠主從架構,一主多從,一般來說,很多項目其實就足夠了,單主用來寫入數據,單機幾萬 QPS,多從用來查詢數據,多個從實例可以提供每秒 10w 的 QPS。
如果想要在實現高並發的同時,容納大量的數據,那么就需要 redis 集群,使用 redis 集群之后,可以提供每秒幾十萬的讀寫並發。
redis 高可用,如果是做主從架構部署,那么加上哨兵就可以了,就可以實現,任何一個實例宕機,可以進行主備切換。
6、redis 的持久化有哪幾種方式?不同的持久化機制都有什么 優缺點?持久化機制具體底層是如何實現的?
面試官心理分析
你必須得用 redis 的持久化機制,將數據寫入內存的同時,異步的慢慢的將數據寫入磁盤文件里,進行持久化。
這個其實一樣,針對的都是 redis 的生產環境可能遇到的一些問題,就是 redis 要是掛了再重啟,內存里的數據不就全丟了?能不能重啟的時候把數據給恢復了?
面試題剖析
持久化主要是做災難恢復、數據恢復,也可以歸類到高可用的一個環節中去,比如你 redis 整個掛了,然后 redis 就不可用了,你要做的事情就是讓 redis 變得可用,盡快變得可用。
很可能說,大量的請求過來,緩存全部無法命中,在 redis 里根本找不到數據,這個時候就死定了,出現緩存雪崩問題。所有請求沒有在redis命中,就會去mysql數據庫這種數據源頭中去找,一下子mysql承接高並發,然后就掛了…
-
RDB:RDB 持久化機制,是對 redis 中的數據執行周期性的持久化。
-
AOF:AOF 機制對每條寫入命令作為日志,以 append-only 的模式寫入一個日志文件中,在 redis重啟的時候,可以通過回放 AOF 日志中的寫入指令來重新構建整個數據集。
如果 redis 掛了,服務器上的內存和磁盤上的數據都丟了,可以從雲服務上拷貝回來之前的數據,放到指定的目錄中,然后重新啟動 redis,redis 就會自動根據持久化數據文件中的數據,去恢復內存中的數據,繼續對外提供服務。
RDB 優缺點
-
RDB 會生成多個數據文件,每個數據文件都代表了某一個時刻中 redis 的數據,這種多個數據文件的方式,非常適合做冷備,可以將這種完整的數據文件發送到一些遠程的安全存儲上去,比如說 Amazon的 S3 雲服務上去,在國內可以是阿里雲的 ODPS 分布式存儲上,以預定好的備份策略來定期備份 redis中的數據。
-
RDB 對 redis 對外提供的讀寫服務,影響非常小,可以讓 redis 保持高性能,因為 redis 主進程只需要 fork 一個子進程,讓子進程執行磁盤 IO 操作來進行 RDB 持久化即可。 ·
-
相對於 AOF 持久化機制來說,直接基於 RDB 數據文件來重啟和恢復 redis 進程,更加快速。
-
如果想要在 redis 故障時,盡可能少的丟失數據,那么 RDB 沒有 AOF 好。一般來說,RDB 數據快照文件,都是每隔 5 分鍾,或者更長時間生成一次,這個時候就得接受一旦 redis 進程宕機,那么會丟失最近 5 分鍾的數據。
-
RDB 每次在 fork 子進程來執行 RDB 快照數據文件生成的時候,如果數據文件特別大,可能會導致對客戶端提供的服務暫停數毫秒,或者甚至數秒。
-
AOF 可以更好的保護數據不丟失,一般 AOF 會每隔 1 秒,通過一個后台線程執行一次 fsync 操作,最多丟失 1 秒鍾的數據。
-
AOF 日志文件以 append-only 模式寫入,所以沒有任何磁盤尋址的開銷,寫入性能非常高,而且文件不容易破損,即使文件尾部破損,也很容易修復。
-
AOF 日志文件即使過大的時候,出現后台重寫操作,也不會影響客戶端的讀寫。因為在 rewrite log的時候,會對其中的指令進行壓縮,創建出一份需要恢復數據的最小日志出來。在創建新日志文件的時候,老的日志文件還是照常寫入。當新的merge后日志文件ready的時候,在交換新老日志文件即可。
-
AOF 日志文件的命令通過非常可讀的方式進行記錄,這個特性非常適合做災難性的誤刪除的緊急恢復。比如某人不小心用 flushall 命令清空了所有數據,只要這個時候后台 rewrite 還沒有發生,那么就可以立即拷貝 AOF 文件,將最后一條 flushall 命令給刪了,然后再將該 AOF 文件放回去,就可以通過恢復機制,自動恢復所有數據。
-
對於同一份數據來說,AOF 日志文件通常比 RDB 數據快照文件更大。
-
AOF 開啟后,支持的寫 QPS 會比 RDB 支持的寫 QPS 低,因為 AOF 一般會配置成每秒 fsync 一次日志文件,當然,每秒一次 fsync,性能也還是很高的。(如果實時寫入,那么 QPS 會大降,redis 性 能會大大降低)
-
以前 AOF 發生過 bug,就是通過 AOF 記錄的日志,進行數據恢復的時候,沒有恢復一模一樣的數據出來。所以說,類似 AOF 這種較為復雜的基於命令日志 / merge / 回放的方式,比基於 RDB 每次持久化一份完整的數據快照文件的方式,更加脆弱一些,容易有 bug。不過 AOF 就是為了避免 rewrite 過程導致的 bug,因此每次 rewrite 並不是基於舊的指令日志進行 merge 的,而是基於當時內存中的數據進行指令的重新構建,這樣健壯性會好很多。
-
不要僅僅使用 RDB,因為那樣會導致你丟失很多數據;
-
也不要僅僅使用 AOF,因為那樣有兩個問題:第一,你通過 AOF 做冷備,沒有 RDB 做冷備來的恢復速度更快;第二,RDB 每次簡單粗暴生成數據快照,更加健壯,可以避免 AOF 這種復雜的備份和恢復機制的 bug;
7、redis 集群模式的工作原理能說一下么?在集群模式下, redis 的 key 是如何尋址的?分布式尋址都有哪些算法?了 解一致性 hash 算法嗎?
面試官心理分析
在前幾年,redis 如果要搞幾個節點,每個節點存儲一部分的數據,得借助一些中間件來實現,比如說有codis,或者 twemproxy,都有。有一些 redis 中間件,你讀寫 redis 中間件,redis 中間件負責將你的數據分布式存儲在多台機器上的 redis 實例中。
這兩年,redis 不斷在發展,redis 也不斷有新的版本,現在的 redis 集群模式,可以做到在多台機器上,部署多個 redis 實例,每個實例存儲一部分的數據,同時每個 redis 主實例可以掛 redis 從實例,自動確保說,如果 redis 主實例掛了,會自動切換到 redis 從實例上來。
現在 redis 的新版本,大家都是用 redis cluster 的,也就是 redis 原生支持的 redis 集群模式,那么面試官肯定會就 redis cluster 對你來個幾連炮。要是你沒用過 redis cluster,正常,以前很多人用 codis 之類的客戶端來支持集群,但是起碼你得研究一下 redis cluster 吧。
如果你的數據量很少,主要是承載高並發高性能的場景,比如你的緩存一般就幾個 G,單機就足夠了,可以使用 replication,一個 master 多個 slaves,要幾個 slave 跟你要求的讀吞吐量有關,然后自己搭建一個 sentinel 集群去保證 redis 主從架構的高可用性。
redis cluster,主要是針對海量數據+高並發+高可用的場景。redis cluster支撐N個 redis master node,每個master node都可以掛載多個slave node。這樣整個redis就可以橫向擴容了。如果你要支撐更大數據量的緩存,那就橫向擴容更多的master節點,每個master節點就能存放更多的數據了。
面試題剖析
redis cluster 介紹
- 自動將數據進行分片,每個 master 上放一部分數據
- 提供內置的高可用支持,部分 master 不可用時,還是可以繼續工作的
在 redis cluster 架構下,每個 redis 要放開兩個端口號,比如一個是 6379,另外一個就是 加 1w 的端口號,比如 16379。
16379 端口號是用來進行節點間通信的,也就是 cluster bus 的東西,cluster bus 的通信,用來進行故障檢測、配置更新、故障轉移授權。cluster bus 用了另外一種二進制的協議,gossip 協議,用於節點間進行高效的數據交換,占用更少的網絡帶寬和處理時間。
節點間的內部通信機制
基本通信原理
集群元數據的維護有兩種方式:集中式、Gossip 協議。redis cluster 節點間采用 gossip 協議進行通信。
集中式是將集群元數據(節點信息、故障等等)幾種存儲在某個節點上。集中式元數據集中存儲的一個典型代表,就是大數據領域的 storm。它是分布式的大數據實時計算引擎,是集中式的元數據存儲的結構,底層基於 zookeeper(分布式協調的中間件)對所有元數據進行存儲維護。

redis 維護集群元數據采用另一個方式, gossip 協議,所有節點都持有一份元數據,不同的節點如果出現了元數據的變更,就不斷將元數據發送給其它的節點,讓其它節點也進行元數據的變更。

集中式的好處在於,元數據的讀取和更新,時效性非常好,一旦元數據出現了變更,就立即更新到集中式的存儲中,其它節點讀取的時候就可以感知到;不好在於,所有的元數據的更新壓力全部集中在一個地方,可能會導致元數據的存儲有壓力。
gossip 好處在於,元數據的更新比較分散,不是集中在一個地方,更新請求會陸陸續續打到所有節點上去更新,降低了壓力;不好在於,元數據的更新有延時,可能導致集群中的一些操作會有一些滯后。
10000 端口:每個節點都有一個專門用於節點間通信的端口,就是自己提供服務的端口號+10000,比如7001,那么用於節點間通信的就是 17001 端口。每個節點每隔一段時間都會往另外幾個節點發送 ping 消息,同時其它幾個節點接收到 ping 之后返回 pong。
交換的信息:信息包括故障信息,節點的增加和刪除,hash slot 信息等等。
gossip 協議
gossip 協議包含多種消息,包含 ping、pong、meet、fail 等等。
- meet:某個節點發送 meet 給新加入的節點,讓新節點加入集群中,然后新節點就會開始與其它節點進行通信。
redis-trib.rb add-node
其實內部就是發送了一個 gossip meet 消息給新加入的節點,通知那個節點去加入我們的集群。
- ping:每個節點都會頻繁給其它節點發送 ping,其中包含自己的狀態還有自己維護的集群元數據,互相通過 ping 交換元數據。
- pong:返回ping和meeet,包括自己的狀態和其他信息,也用於信息廣播和更新。
- fail:某個節點判斷另一個節點fail之后,就發送fail給其他節點,通知其他節點說,某個節點宕機啦。
ping 消息深入
ping 時要攜帶一些元數據,如果很頻繁,可能會加重網絡負擔。
每個節點每秒會執行 10 次 ping,每次會選擇 5 個最久沒有通信的其它節點。當然如果發現某個節點通信延時達到了 cluster_node_timeout / 2,那么立即發送 ping,避免數據交換延時過長,落后的時間太長了。比如說,兩個節點之間都 10 分鍾沒有交換數據了,那么整個集群處於嚴重的元數據不一致的情況,就會有問題。所以 cluster_node_timeout 可以調節,如果調得比較大,那么會降低 ping 的頻率。
每次 ping,會帶上自己節點的信息,還有就是帶上 1/10 其它節點的信息,發送出去,進行交換。至少包含 3 個其它節點的信息,最多包含 總節點數減 2 個其它節點的信息。
分布式尋址算法
- hash 算法(大量緩存重建)
- 一致性 hash 算法(自動緩存遷移)+ 虛擬節點(自動負載均衡)
- redis cluster 的 hash slot 算法
hash 算法
來了一個 key,首先計算 hash 值,然后對節點數取模。然后打在不同的 master 節點上。一旦某一個master 節點宕機,所有請求過來,都會基於最新的剩余 master 節點數去取模,嘗試去取數據。這會導致大部分的請求過來,全部無法拿到有效的緩存,導致大量的流量涌入數據庫。

一致性 hash 算法
一致性 hash 算法將整個 hash 值空間組織成一個虛擬的圓環,整個空間按順時針方向組織,下一步將各個 master 節點(使用服務器的 ip 或主機名)進行 hash。這樣就能確定每個節點在其哈希環上的位置。
來了一個 key,首先計算 hash 值,並確定此數據在環上的位置,從此位置沿環順時針“行走”,遇到的第一個 master 節點就是 key 所在位置。
在一致性哈希算法中,如果一個節點掛了,受影響的數據僅僅是此節點到環空間前一個節點(沿着逆時針方向行走遇到的第一個節點)之間的數據,其它不受影響。增加一個節點也同理。
燃鵝,一致性哈希算法在節點太少時,容易因為節點分布不均勻而造成緩存熱點的問題。為了解決這種熱點
問題,一致性 hash 算法引入了虛擬節點機制,即對每一個節點計算多個 hash,每個計算結果位置都放置一個虛擬節點。這樣就實現了數據的均勻分布,負載均衡。

redis cluster 的 hash slot 算法
redis cluster 有固定的 16384 個 hash slot,對每個 key 計算 CRC16 值,然后對 16384 取模,可以獲取 key 對應的 hash slot。
redis cluster 中每個 master 都會持有部分 slot,比如有 3 個 master,那么可能每個 master 持有5000 多個 hash slot。hash slot 讓 node 的增加和移除很簡單,增加一個 master,就將其他 master的 hash slot 移動部分過去,減少一個 master,就將它的 hash slot 移動到其他 master 上去。移動hash slot 的成本是非常低的。客戶端的 api,可以對指定的數據,讓他們走同一個 hash slot,通過 hash tag 來實現。
任何一台機器宕機,另外兩個節點,不影響的。因為 key 找的是 hash slot,不是機器。、

redis cluster 的高可用與主備切換原理
redis cluster 的高可用的原理,幾乎跟哨兵是類似的。
判斷節點宕機
如果一個節點認為另外一個節點宕機,那么就是 pfail,主觀宕機。如果多個節點都認為另外一個節點宕機了,那么就是 fail,客觀宕機,跟哨兵的原理幾乎一樣,sdown,odown。
在 cluster-node-timeout 內,某個節點一直沒有返回 pong,那么就被認為 pfail。
如果一個節點認為某個節點 pfail 了,那么會在 gossip ping 消息中,ping 給其他節點,如果超過半數的節點都認為 pfail 了,那么就會變成 fail。
從節點過濾
對宕機的 master node,從其所有的 slave node 中,選擇一個切換成 master node。
檢查每個 slave node 與 master node 斷開連接的時間,如果超過了 cluster-node-timeout *cluster-slave-validity-factor,那么就沒有資格切換成 master。
從節點選舉
每個從節點,都根據自己對 master 復制數據的 offset,來設置一個選舉時間,offset 越大(復制數據越多)的從節點,選舉時間越靠前,優先進行選舉。
所有的 master node 開始 slave 選舉投票,給要進行選舉的 slave 進行投票,如果大部分 master node(N/2 + 1)都投票給了某個從節點,那么選舉通過,那個從節點可以切換成 master。
從節點執行主備切換,從節點切換為主節點。
與哨兵比較
整個流程跟哨兵相比,非常類似,所以說,redis cluster 功能強大,直接集成了 replication 和sentinel 的功能。
8、了解什么是 redis 的雪崩、穿透和擊穿?redis 崩潰之后會 怎么樣?系統該如何應對這種情況?如何處理 redis 的穿 透?
面試官心理分析
其實這是問到緩存必問的,因為緩存雪崩和穿透,是緩存最大的兩個問題,要么不出現,一旦出現就是致命性的問題,所以面試官一定會問你。
面試題剖析
緩存雪崩
對於系統 A,假設每天高峰期每秒 5000 個請求,本來緩存在高峰期可以扛住每秒 4000 個請求,但是緩存機器意外發生了全盤宕機。緩存掛了,此時 1 秒 5000 個請求全部落數據庫,數據庫必然扛不住,它會報一下警,然后就掛了。此時,如果沒有采用什么特別的方案來處理這個故障,DBA 很着急,重啟數據庫,但是數據庫立馬又被新的流量給打死了。
這就是緩存雪崩。

大約在 3 年前,國內比較知名的一個互聯網公司,曾因為緩存事故,導致雪崩,后台系統全部崩潰,事故從當天下午持續到晚上凌晨 3~4 點,公司損失了幾千萬。
緩存雪崩的事前事中事后的解決方案如下。 - 事前:redis 高可用,主從+哨兵,redis cluster,避免全盤崩潰。 - 事中:本地 ehcache 緩存 + hystrix 限流&降級,避免 MySQL 被打死。 - 事后:redis持久化,一旦重啟,自動從磁盤上加載數據,快速恢復緩存數據。

用戶發送一個請求,系統 A 收到請求后,先查本地 ehcache 緩存,如果沒查到再查 redis。如果 ehcache和 redis 都沒有,再查數據庫,將數據庫中的結果,寫入 ehcache 和 redis 中。
限流組件,可以設置每秒的請求,有多少能通過組件,剩余的未通過的請求,怎么辦?走降級!可以返回一些默認的值,或者友情提示,或者空白的值。
好處: - 數據庫絕對不會死,限流組件確保了每秒只有多少個請求能通過。 - 只要數據庫不死,就是說,對用戶來說,2/5 的請求都是可以被處理的。 - 只要有 2/5 的請求可以被處理,就意味着你的系統沒死,對用戶來說,可能就是點擊幾次刷不出來頁面,但是多點幾次,就可以刷出來一次。
緩存穿透
對於系統 A,假設一秒 5000 個請求,結果其中 4000 個請求是黑客發出的惡意攻擊。
黑客發出的那 4000 個攻擊,緩存中查不到,每次你去數據庫里查,也查不到。
舉個栗子。數據庫 id 是從 1 開始的,結果黑客發過來的請求 id 全部都是負數。這樣的話,緩存中不會有,請求每次都“視緩存於無物”,直接查詢數據庫。這種惡意攻擊場景的緩存穿透就會直接把數據庫給打死。

解決方式很簡單,每次系統 A 從數據庫中只要沒查到,就寫一個空值到緩存里去,比如 set -999 UNKNOWN。然后設置一個過期時間,這樣的話,下次有相同的 key 來訪問的時候,在緩存失效之前,都可以直接從緩存中取數據。
緩存擊穿
緩存擊穿,就是說某個key非常熱點,訪問非常頻繁,處於集中式高並發訪問的情況,當這個key在失效的瞬間,大量的請求就擊穿了緩存,直接請求數據庫,就像是在一道屏障上鑿開了一個洞。
解決方式也很簡單,可以將熱點數據設置為永遠不過期;或者基於 redis or zookeeper 實現互斥鎖,等待第一個請求構建完緩存之后,再釋放鎖,進而其它請求才能通過該 key 訪問數據。
9、如何保證緩存與數據庫的雙寫一致性?
面試官心理分析
你只要用緩存,就可能會涉及到緩存與數據庫雙存儲雙寫,你只要是雙寫,就一定會有數據一致性的問題,那么你如何解決一致性問題?
面試題剖析
一般來說,如果允許緩存可以稍微的跟數據庫偶爾有不一致的情況,也就是說如果你的系統不是嚴格要求“緩存+數據庫” 必須保持一致性的話,最好不要做這個方案,即:讀請求和寫請求串行化,串到一個內存隊列里去。
串行化可以保證一定不會出現不一致的情況,但是它也會導致系統的吞吐量大幅度降低,用比正常情況下多幾倍的機器去支撐線上的一個請求。
Cache Aside Pattern
最經典的緩存+數據庫讀寫的模式,就是 Cache Aside Pattern。 - 讀的時候,先讀緩存,緩存沒有的話,就讀數據庫,然后取出數據后放入緩存,同時返回響應。 - 更新的時候,先更新數據庫,然后再刪除緩存。
為什么是刪除緩存,而不是更新緩存?
原因很簡單,很多時候,在復雜點的緩存場景,緩存不單單是數據庫中直接取出來的值。
比如可能更新了某個表的一個字段,然后其對應的緩存,是需要查詢另外兩個表的數據並進行運算,才能計算出緩存最新的值的。
另外更新緩存的代價有時候是很高的。是不是說,每次修改數據庫的時候,都一定要將其對應的緩存更新一份?也許有的場景是這樣,但是對於比較復雜的緩存數據計算的場景,就不是這樣了。如果你頻繁修改一個緩存涉及的多個表,緩存也頻繁更新。但是問題在於,這個緩存到底會不會被頻繁訪問到?
舉個栗子,一個緩存涉及的表的字段,在 1 分鍾內就修改了 20 次,或者是 100 次,那么緩存更新 20 次、100 次;但是這個緩存在 1 分鍾內只被讀取了 1 次,有大量的冷數據。實際上,如果你只是刪除緩存的話,那么在 1 分鍾內,這個緩存不過就重新計算一次而已,開銷大幅度降低。用到緩存才去算緩存。
其實刪除緩存,而不是更新緩存,就是一個 lazy 計算的思想,不要每次都重新做復雜的計算,不管它會不會用到,而是讓它到需要被使用的時候再重新計算。像 mybatis,hibernate,都有懶加載思想。查詢一個部門,部門帶了一個員工的 list,沒有必要說每次查詢部門,都里面的 1000 個員工的數據也同時查出來啊。80%的情況,查這個部門,就只是要訪問這個部門的信息就可以了。先查部門,同時要訪問里面的員工,那么這個時候只有在你要訪問里面的員工的時候,才會去數據庫里面查詢1000個員工。
最初級的緩存不一致問題及解決方案
問題:先更新數據庫,再刪除緩存。如果刪除緩存失敗了,那么會導致數據庫中是新數據,緩存中是舊數據,數據就出現了不一致。

解決思路:先刪除緩存,再更新數據庫。如果數據庫更新失敗了,那么數據庫中是舊數據,緩存中是空的,那么數據不會不一致。因為讀的時候緩存沒有,所以去讀了數據庫中的舊數據,然后更新到緩存中。
比較復雜的數據不一致問題分析
數據發生了變更,先刪除了緩存,然后要去修改數據庫,此時還沒修改。一個請求過來,去讀緩存,發現緩存空了,去查詢數據庫,查到了修改前的舊數據,放到了緩存中。隨后數據變更的程序完成了數據庫的修改。完了,數據庫和緩存中的數據不一樣了...
為什么上億流量高並發場景下,緩存會出現這個問題?
只有在對一個數據在並發的進行讀寫的時候,才可能會出現這種問題。其實如果說你的並發量很低的話,特別是讀並發很低,每天訪問量就 1 萬次,那么很少的情況下,會出現剛才描述的那種不一致的場景。但是問題是,如果每天的是上億的流量,每秒並發讀是幾萬,每秒只要有數據更新的請求,就可能會出現上述的數據庫+緩存不一致的情況。
解決方案如下:
更新數據的時候,根據數據的唯一標識,將操作路由之后,發送到一個 jvm 內部隊列中。讀取數據的時候,如果發現數據不在緩存中,那么將重新讀取數據+更新緩存的操作,根據唯一標識路由之后,也發送同一個jvm 內部隊列中。
一個隊列對應一個工作線程,每個工作線程串行拿到對應的操作,然后一條一條的執行。這樣的話一個數據變更的操作,先刪除緩存,然后再去更新數據庫,但是還沒完成更新。此時如果一個讀請求過來,沒有讀到緩存,那么可以先將緩存更新的請求發送到隊列中,此時會在隊列中積壓,然后同步等待緩存更新完成。
這里有一個優化點,一個隊列中,其實多個更新緩存請求串在一起是沒意義的,因此可以做過濾,如果發現隊列中已經有一個更新緩存的請求了,那么就不用再放個更新請求操作進去了,直接等待前面的更新操作請求完成即可。
待那個隊列對應的工作線程完成了上一個操作的數據庫的修改之后,才會去執行下一個操作,也就是緩存更新的操作,此時會從數據庫中讀取最新的值,然后寫入緩存中。
如果請求還在等待時間范圍內,不斷輪詢發現可以取到值了,那么就直接返回;如果請求等待的時間超過一定時長,那么這一次直接從數據庫中讀取當前的舊值。
高並發的場景下,該解決方案要注意的問題:
(1)讀請求長時阻塞
由於讀請求進行了非常輕度的異步化,所以一定要注意讀超時的問題,每個讀請求必須在超時時間范圍內返回。該解決方案,最大的風險點在於說,可能數據更新很頻繁,導致隊列中積壓了大量更新操作在里面,然后讀請求會發生大量的超時,最后導致大量的請求直接走數據庫。務必通過一些模擬真實的測試,看看更新數據的頻率是怎樣的。
另外一點,因為一個隊列中,可能會積壓針對多個數據項的更新操作,因此需要根據自己的業務情況進行測試,可能需要部署多個服務,每個服務分攤一些數據的更新操作。如果一個內存隊列里居然會擠壓 100 個商品的庫存修改操作,每隔庫存修改操作要耗費 10ms 去完成,那么最后一個商品的讀請求,可能等待 10 *100 = 1000ms = 1s 后,才能得到數據,這個時候就導致讀請求的長時阻塞。
一定要做根據實際業務系統的運行情況,去進行一些壓力測試,和模擬線上環境,去看看最繁忙的時候,內存隊列可能會擠壓多少更新操作,可能會導致最后一個更新操作對應的讀請求,會 hang 多少時間,如果讀請求在 200ms 返回,如果你計算過后,哪怕是最繁忙的時候,積壓 10 個更新操作,最多等待 200ms,那還可以的。
如果一個內存隊列中可能積壓的更新操作特別多,那么你就要加機器,讓每個機器上部署的服務實例處理更少的數據,那么每個內存隊列中積壓的更新操作就會越少。
其實根據之前的項目經驗,一般來說,數據的寫頻率是很低的,因此實際上正常來說,在隊列中積壓的更新操作應該是很少的。像這種針對讀高並發、讀緩存架構的項目,一般來說寫請求是非常少的,每秒的 QPS 能到幾百就不錯了。
我們來實際粗略測算一下。
如果一秒有 500 的寫操作,如果分成 5 個時間片,每 200ms 就 100 個寫操作,放到 20 個內存隊列中,每個內存隊列,可能就積壓 5 個寫操作。每個寫操作性能測試后,一般是在 20ms 左右就完成,那么針對每個內存隊列的數據的讀請求,也就最多 hang 一會兒,200ms 以內肯定能返回了。
經過剛才簡單的測算,我們知道,單機支撐的寫 QPS 在幾百是沒問題的,如果寫 QPS 擴大了 10 倍,那么就擴容機器,擴容 10 倍的機器,每個機器 20 個隊列。
(2)讀請求並發量過高
這里還必須做好壓力測試,確保恰巧碰上上述情況的時候,還有一個風險,就是突然間大量讀請求會在幾十 毫秒的延時 hang 在服務上,看服務能不能扛的住,需要多少機器才能扛住最大的極限情況的峰值。
但是因為並不是所有的數據都在同一時間更新,緩存也不會同一時間失效,所以每次可能也就是少數數據的緩存失效了,然后那些數據對應的讀請求過來,並發量應該也不會特別大。
(3)多服務實例部署的請求路由
可能這個服務部署了多個實例,那么必須保證說,執行數據更新操作,以及執行緩存更新操作的請求,都通過 Nginx 服務器路由到相同的服務實例上。
比如說,對同一個商品的讀寫請求,全部路由到同一台機器上。可以自己去做服務間的按照某個請求參數的hash 路由,也可以用 Nginx 的 hash 路由功能等等。
(4)熱點商品的路由問題,導致請求的傾斜
萬一某個商品的讀寫請求特別高,全部打到相同的機器的相同的隊列里面去了,可能會造成某台機器的壓力過大。就是說,因為只有在商品數據更新的時候才會清空緩存,然后才會導致讀寫並發,所以其實要根據業務系統去看,如果更新頻率不是太高的話,這個問題的影響並不是特別大,但是的確可能某些機器的負載會高一些。
10、redis 的並發競爭問題是什么?如何解決這個問題?了解redis 事務的 CAS 方案嗎?
面試官心理分析
這個也是線上非常常見的一個問題,就是多客戶端同時並發寫一個 key,可能本來應該先到的數據后到了,導致數據版本錯了;或者是多客戶端同時獲取一個 key,修改值之后再寫回去,只要順序錯了,數據就錯了。
而且 redis 自己就有天然解決這個問題的 CAS 類的樂觀鎖方案。
面試題剖析
某個時刻,多個系統實例都去更新某個 key。可以基於 zookeeper 實現分布式鎖。每個系統通過zookeeper 獲取分布式鎖,確保同一時間,只能有一個系統實例在操作某個 key,別人都不允許讀和寫。

你要寫入緩存的數據,都是從 mysql 里查出來的,都得寫入 mysql 中,寫入 mysql 中的時候必須保存一個時間戳,從 mysql 查出來的時候,時間戳也查出來。
每次要寫之前,先判斷一下當前這個 value 的時間戳是否比緩存里的 value 的時間戳要新。如果是的話,那么可以寫,否則,就不能用舊的數據覆蓋新的數據。
11、生產環境中的 redis 是怎么部署的?
面試官心理分析
看看你了解不了解你們公司的 redis 生產集群的部署架構,如果你不了解,那么確實你就很失職了,你的redis 是主從架構?集群架構?用了哪種集群方案?有沒有做高可用保證?有沒有開啟持久化機制確保可以進行數據恢復?線上 redis 給幾個 G 的內存?設置了哪些參數?壓測后你們 redis 集群承載多少QPS?
兄弟,這些你必須是門兒清的,否則你確實是沒好好思考過。
面試題剖析
redis cluster,10 台機器,5 台機器部署了 redis 主實例,另外 5 台機器部署了 redis 的從實例, 每個主實例掛了一個從實例,5 個節點對外提供讀寫服務,每個節點的讀寫高峰 qps 可能可以達到每秒 5 萬,5 台機器最多是 25 萬讀寫請求/s。
機器是什么配置?32G 內存+ 8 核 CPU + 1T 磁盤,但是分配給 redis 進程的是 10g 內存,一般線上生產環境,redis 的內存盡量不要超過 10g,超過 10g 可能會有問題。
5 台機器對外提供讀寫,一共有 50g 內存。
因為每個主實例都掛了一個從實例,所以是高可用的,任何一個主實例宕機,都會自動故障遷移,redis 從實例會自動變成主實例繼續提供讀寫服務。
你往內存里寫的是什么數據?每條數據的大小是多少?商品數據,每條數據是 10kb。100 條數據是 1mb,10 萬條數據是 1g。常駐內存的是 200 萬條商品數據,占用內存是 20g,僅僅不到總內存的 50%。目前高峰期每秒就是 3500 左右的請求量。
其實大型的公司,會有基礎架構的 team 負責緩存集群的運維。
最后
歡迎關注公眾號:程序員追風,領取一線大廠Java面試題總結+各知識點學習思維導+一份300頁pdf文檔的Java核心知識點總結!