問題1.數據庫為什么要設計索引?
索引類似書本目錄,用於提升數據庫查找速度。
問題2.哈希(hash)比樹(tree)更快,索引結構為什么要設計成樹型?
加快查找速度的數據結構,常見的有兩類:
(1)哈希,例如HashMap,查詢/插入/修改/刪除的平均時間復雜度都是O(1);
(2)樹,例如平衡二叉搜索樹,查詢/插入/修改/刪除的平均時間復雜度都是O(lg(n));
可以看到,不管是讀,還是寫,哈希類型的索引都比樹型的索引更快一些,那為什么,索引結構要設計成樹型呢?
索引設計成樹型,和SQL的需求有關。
對於一個單行查詢SQL需求:
select * from t where name = "mysql";
確實是哈希表索引更快,因為每次都是只查詢一條記錄。
索引如果業務需求都是單行訪問,確實可以使用哈希索引。
但是對於排序查詢的SQL需求:
分組group by、排序order by、比較< >、不等於...
哈希型的索引,事件復雜度會退化為O(n),而樹型的“有序特性”,依然能夠保持O(log(n))的高效率。
Mysql為了實現SQL多種多樣需求故而默認用樹實現索引。
但InnoDB並不支持哈希索引。
問題3.數據庫索引為什么使用B+樹?
下面先來介紹幾種樹。
第一種:二叉搜索樹
二叉搜索樹是最為大家熟知的一種數據結構,它為什么不適合用作數據庫索引?
(1)當數據量大的時候,樹的高度會比較高,數據量大的時候,查詢會比較慢;
(2)每個節點只存儲一個記錄,可能導致一次查詢有很多次磁盤IO;
第二種樹:B樹
B樹的特點是:
(1)不再是二叉搜索,而是m叉搜索;
(2)葉子節點,非葉子節點,都存儲數據;
(3)中序遍歷,可以獲得所用節點;
(4)非根節點包含的關鍵字個數j滿足,(m/2)-1 <=j<= m-1,節點分裂時要滿足這個條件。
B樹被作為實現索引的數據結構被創造出來,是因為它能夠完美的利用“局部性原理”。
什么是局部性原理?
局部性原理的邏輯是這樣的:
(1)內存讀寫快,磁盤讀寫慢,而且慢很多;
(2)磁盤預讀:磁盤讀寫並不是按需讀取,而是按頁讀取,一次會讀取一頁的數據,每次加載更多的數據,如果未來要讀取的數據就在這一頁中,可以避免未來的磁盤IO,提高效率。通常一頁數據是4K;
(3)局部性原理:軟件設計要盡量遵循“數據讀取集中”與“使用到一個數據,大概率會使用其附近的數據”,這樣磁盤預讀能充分提高磁盤IO;
B樹為何適合做索引?
(1)由於是m分叉的,高度能夠大大降低;
(2)每個節點可以存儲j個記錄,如果將節點大小設置為頁大小,例如4K,能夠充分的利用預讀的特性,極大減少磁盤IO;
第三種樹:B+樹
B+樹,仍是m叉搜索樹,在B樹的基礎上,做了一些改進:
(1)非葉子節點不再存儲數據,數據只存儲在同一層的葉子節點上(B+樹中根到每一個節點的路徑長度一樣,而B樹不是這樣);
(2)葉子之間,增加了鏈表,獲取所有節點,不再需要中序遍歷;
這些改進讓B+樹比B樹有更優的特性:
(1)范圍查找,定位min與max之后,中間葉子節點就是結果集,不用中序回溯。范圍查詢在SQL中用的很多,這是B+樹比B樹最大的優勢;
(2)葉子節點存儲實際記錄行,記錄行相對比較緊密的存儲,適合大數據量磁盤存儲;非葉子節點存儲記錄的PK,用於查詢加速,適合內存存儲;
(3)非葉子節點,不存儲實際記錄,而只存儲記錄的KEY的話,那么在相同內存下,B+樹能夠存儲更多索引;
最后量化說下,為什么m叉的B+樹比二叉搜索樹的高度大大大大降低?
(1)局部性原理,將一個節點的大小設置為一頁,一頁4K,假設一個KEY有8字節,一個節點可以存儲500個KEY,即j=500
(2)m叉樹,大概m/2<=j<=m,即可以差不多是1000叉樹
(3)那么:
一層樹:1個節點,1*500個KEY,大小4K
二層樹:1000個節點,1000*500=50W個KEY,大小1000*4K=4M
三層樹:1000*1000個節點,1000*1000*500=5億個KEY,大小1000*1000*4K=4G
可以看到,存儲大量的數據(5億),並不需要太高樹的深度(高度3),索引也不是太占內存(4G)。
總結
數據庫索引用於加快查詢速度
雖然哈希索引是O(1),樹索引是O(log(n)),但SQL有很多有序需求,古數據庫使用樹型索引
InnoDB不支持哈希索引
數據預讀的思路是:磁盤讀寫並不是按需讀取,而是按頁預讀,一次會讀一頁的數據,每次加載更多的數據,以便未來減少磁盤IO
局部性原理:軟件設計要盡量遵循“數據讀取集中”與“使用到一個數據,大概率會使用其附近的數據”,這樣磁盤預讀能充分提高磁盤IO
數據庫的索引常用B+樹:
(1)很適合磁盤存儲,能夠充分利用局部性原理,磁盤預讀;
(2)很低的樹高度,能夠存儲大量數據;
(3)索引本身占用的內存很小;
(4)能夠很好的支持單點查詢,范圍查詢,有序性查詢。
本文學習自公眾號“架構師之路”,感謝作者的奉獻