牛逼!Redis 的字符串是這樣實現的…


作者:小小木的博客
www.cnblogs.com/wyc1994666/p/10669212.html

之前本人在找工作面試時在Redis相關問題上可栽了跟頭。

在面試前按常規套路准備了一下,比如 Redis 的常用5種數據結構,Redis持久化策略,Redis實現分布式鎖,簡單發布訂閱等等都准備了,當時不知天高地厚以為十拿九穩了,可是萬萬沒想到我終究還是在Redis的被問的第一個問題上翻船了~~

面試官 : 看你簡歷上寫了熟悉常用數據結構,都有哪些說說
本人 : 常用有5種,string,list,set,zset,hash(內心很得意)

面試官 : 那你說說都用過哪些數據結構_
本人 : 用的最多的是string,通常會把json字符串存進去_

面試官 : 那你知道Redis內部是怎么實現它的string的么?_
本人 : 呃~,我了解Redis是用C語言寫的,至於具體實現就不清楚了~

到此一面卒~~~

有相同經歷的朋友么?


回去后惡補了一下Redis有關原理性的知識點,恰好最近在最總結面試經歷於是有了今天這篇文章。

本篇會講以下內容:

  • Redis字符串的實現

  • Redis字符串的性能優勢

Redis字符串的實現

Redis雖然是用C語言寫的,但卻沒有直接用C語言的字符串,而是自己實現了一套字符串。目的就是為了提升速度,提升性能,可以看出Redis為了高性能也是煞費苦心。

Redis構建了一個叫做簡單動態字符串(Simple Dynamic String),簡稱SDS

1.SDS 代碼結構

struct sdshdr{    
    //  記錄已使用長度    
    int len;    
    // 記錄空閑未使用的長度    
    int free;    
    // 字符數組    
    char[] buf;    
};     

SDS ?什么鬼?可能對此陌生的朋友對這個名稱有疑惑。只是個名詞而已不必在意,我們要重點欣賞借鑒Redis的設計思路。下面畫個圖來說明,一目了然。

Redis的字符串也會遵守C語言的字符串的實現規則,即最后一個字符為空字符。然而這個空字符不會被計算在len里頭。關注微信公眾號:Java技術棧,在后台回復:redis,可以獲取我整理的 N 篇 Redis 教程,都是干貨。

2.SDS 動態擴展特點

SDS的最厲害最奇妙之處在於它的Dynamic。動態變化長度。舉個例子

如上圖所示剛開始s1 只有5個空閑位子,后面需要追加' world' 6個字符,很明顯是不夠的。那咋辦?Redis會做以下三個操作:

  1. 計算出大小是否足夠

  2. 開辟空間至滿足所需大小

  3. 開辟與已使用大小len相同長度的空閑free空間(如果len < 1M)開辟1M長度的空閑free空間(如果len >= 1M)

看到這兒為止有沒有朋友覺得這個實現跟Java的列表List實現有點類似呢?看完后面的會覺得更像了。推薦閱讀:Redis 為什么這么快

Redis字符串的性能優勢

  • 快速獲取字符串長度

  • 避免緩沖區溢出

  • 降低空間分配次數提升內存使用效率

1.快速獲取字符串長度

再看下上面的SDS結構體:

struct sdshdr{    
    //  記錄已使用長度    
    int len;    
    // 記錄空閑未使用的長度    
    int free;    
    // 字符數組    
    char[] buf;    
};     

由於在SDS里存了已使用字符長度len,所以當想獲取字符串長度時直接返回len即可,時間復雜度為O(1)。如果使用C語言的字符串的話它的字符串長度獲取函數時間復雜度為O(n),n為字符個數,因為他是從頭到尾(到空字符'\0')遍歷相加。

2.避免緩沖區溢出

對一個C語言字符串進行strcat追加字符串的時候需要提前開辟需要的空間,如果不開辟空間的話可能會造成緩沖區溢出,而影響程序其他代碼。如下圖,有一個字符串s1="hello" 和 字符串s2="baby",現在要執行strcat(s1,"world"),並且執行前未給s1開辟空間,所以造成了緩沖區溢出。

而對於Redis而言由於每次追加字符串時都會檢查空間是否夠用,所以不會存在緩沖區溢出問題。每次追加操作前都會做如下操作:

  1. 計算出大小是否足夠

  2. 開辟空間至滿足所需大小

3.降低空間分配次數提升內存使用效率

字符串的追加操作會涉及到內存分配問題,然而內存分配問題會牽扯內存划分算法以及系統調用所以如果頻繁發生的話影響性能,所以對於性能至上的Redis來說這是萬萬不能忍受的。推薦:Redis 內存滿了怎么辦

所以采取了以下兩種優化措施

  • 空間與分配

  • 惰性空間回收

1. 空間預分配

對於追加操作來說,Redis不僅會開辟空間至夠用而且還會預分配未使用的空間(free)來用於下一次操作。至於未使用的空間(free)的大小則由修改后的字符串長度決定。

當修改后的字符串長度len < 1M,則會分配與len相同長度的未使用的空間(free)

當修改后的字符串長度len >= 1M,則會分配1M長度的未使用的空間(free)

有了這個預分配策略之后會減少內存分配次數,因為分配之前會檢查已有的free空間是否夠,如果夠則不開辟了~

2. 惰性空間回收

與上面情況相反,惰性空間回收適用於字符串縮減操作。比如有個字符串s1="hello world",對s1進行sdstrim(s1," world")操作,執行完該操作之后Redis不會立即回收減少的部分,而是會分配給下一個需要內存的程序。當然,Redis也提供了回收內存的api,可以自己手動調用來回收縮減部分的內存。

到此為止結束了~

下次在遇到這個問題可以侃侃而談了,哈哈哈~

關注公眾號Java技術棧回復"面試"獲取我整理的2020最全面試題及答案。

推薦去我的博客閱讀更多:

1.Java JVM、集合、多線程、新特性系列教程

2.Spring MVC、Spring Boot、Spring Cloud 系列教程

3.Maven、Git、Eclipse、Intellij IDEA 系列工具教程

4.Java、后端、架構、阿里巴巴等大廠最新面試題

覺得不錯,別忘了點贊+轉發哦!


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM