沒有索引時mysql是如何查詢到數據的
索引對查詢的速度有着至關重要的影響,理解索引也是進行數據庫性能調優的起點。考慮如下情況,假設數據庫中一個表有10^6條記錄,DBMS的頁面大小為4K,並存儲100條記錄。如果沒有索引,查詢將對整個表進行掃描,最壞的情況下,如果所有數據頁都不在內存,需要讀取10^4個頁面,如果這10^4個頁面在磁盤上隨機分布,需要進行10^4次I/O,假設磁盤每次I/O時間為10ms(忽略數據傳輸時間),則總共需要100s(但實際上要好很多很多)。如果對之建立B-Tree索引,則只需要進行log100(10^6)=3次頁面讀取,最壞情況下耗時30ms。這就是索引帶來的效果,很多時候,當你的應用程序進行SQL查詢速度很慢時,應該想想是否可以建索引。
進入正題:
一、什么是索引?
索引(在MYSQL中也叫做鍵<key>),是存儲引擎用於快速找到記錄的一種數據結構。索引用來快速地尋找那些具有特定值的記錄,所有MySQL索引都以B-樹的形式保存。如果沒有索引,執行查詢時MySQL必須從第一個記錄開始掃描整個表的所有記錄,直至找到符合要求的記錄。表里面的記錄數量越多,這個操作的代價就越高。如果作為搜索條件的列上已經創建了索引,MySQL無需掃描任何記錄即可迅速得到目標記錄所在的位置。如果表有1000個記錄,通過索引查找記錄至少要比順序掃描記錄快100倍。
索引對查詢的速度有着至關重要的影響,理解索引也是進行數據庫性能調優的起點。考慮如下情況,假設數據庫中一個表有10^6條記錄,DBMS的頁面大小為4K,並存儲100條記錄。如果沒有索引,查詢將對整個表進行掃描,最壞的情況下,如果所有數據頁都不在內存,需要讀取10^4個頁面,如果這10^4個頁面在磁盤上隨機分布,需要進行10^4次I/O,假設磁盤每次I/O時間為10ms(忽略數據傳輸時間),則總共需要100s(但實際上要好很多很多)。如果對之建立B-Tree索引,則只需要進行log100(10^6)=3次頁面讀取,最壞情況下耗時30ms。這就是索引帶來的效果,很多時候,當你的應用程序進行SQL查詢速度很慢時,應該想想是否可以建索引。
索引優化應該是對查詢性能優化最有效的手段了,索引能夠輕易將查詢性能提高幾個數量級,”最優“的索引有時比一個”好的“索引性能要好兩個數量級。創建一個真正”最優“的索引經常要重寫查詢。
二、索引的類型
從數據結構角度
1、B+樹索引(O(log(n))):關於B+樹索引,可以參考 MySQL索引背后的數據結構及算法原理
2、hash索引:
a 僅僅能滿足"=","IN"和"<=>"查詢,不能使用范圍查詢
b 其檢索效率非常高,索引的檢索可以一次定位,不像B-Tree 索引需要從根節點到枝節點,最后才能訪問到頁節點這樣多次的IO訪問,所以 Hash 索引的查詢效率要遠高於 B-Tree 索引
c 只有Memory存儲引擎顯示支持hash索引
3、FULLTEXT索引(現在MyISAM和InnoDB引擎都支持了)
4、R-Tree索引(用於對GIS數據類型創建SPATIAL索引)
從物理存儲角度
1、聚集索引(clustered index)
2、非聚集索引(non-clustered index)
從邏輯角度
1、主鍵索引:主鍵索引是一種特殊的唯一索引,不允許有空值
2、普通索引或者單列索引
3、多列索引(復合索引):復合索引指多個字段上創建的索引,只有在查詢條件中使用了創建索引時的第一個字段,索引才會被使用。使用復合索引時遵循最左前綴集合
4、唯一索引或者非唯一索引
5、空間索引:空間索引是對空間數據類型的字段建立的索引,MYSQL中的空間數據類型有4種,分別是GEOMETRY、POINT、LINESTRING、POLYGON。MYSQL使用SPATIAL關鍵字進行擴展,使得能夠用於創建正規索引類型的語法創建空間索引。創建空間索引的列,必須將其聲明為NOT NULL,空間索引只能在存儲引擎為MYISAM的表中創建
三、索引的類型的詳解
3.1MySQL提供多種索引類型(按照邏輯角度分)供選擇:
3.1.1普通索引
這是最基本的索引類型,而且它沒有唯一性之類的限制。普通索引可以通過以下幾種方式創建:
創建索引,例如CREATE INDEX <索引的名字> ON tablename (列的列表);
修改表,例如ALTER TABLE tablename ADD INDEX [索引的名字] (列的列表);
創建表的時候指定索引,例如CREATE TABLE tablename ( [...], INDEX [索引的名字] (列的列表) );
3.1.2唯一性索引
這種索引和前面的“普通索引”基本相同,但有一個區別:索引列的所有值都只能出現一次,即必須唯一。唯一性索引可以用以下幾種方式創建:
創建索引,例如CREATE UNIQUE INDEX <索引的名字> ON tablename (列的列表);
修改表,例如ALTER TABLE tablename ADD UNIQUE [索引的名字] (列的列表);
創建表的時候指定索引,例如CREATE TABLE tablename ( [...], UNIQUE [索引的名字] (列的列表) );
3.1.3主鍵
主鍵是一種唯一性索引,但它必須指定為“PRIMARY KEY”。如果你曾經用過AUTO_INCREMENT類型的列,你可能已經熟悉主鍵之類的概念了。主鍵一般在創建表的時候指定,例如“CREATE TABLE tablename ( [...], PRIMARY KEY (列的列表) ); ”。但是,我們也可以通過修改表的方式加入主鍵,例如“ALTER TABLE tablename ADD PRIMARY KEY (列的列表); ”。每個表只能有一個主鍵。
3.1.4全文索引
MySQL從3.23.23版開始支持全文索引和全文檢索。在MySQL中,全文索引的索引類型為FULLTEXT。全文索引可以在VARCHAR或者 TEXT類型的列上創建。它可以通過CREATE TABLE命令創建,也可以通過ALTER TABLE或CREATE INDEX命令創建。對於大規模的數據集,通過ALTER TABLE(或者CREATE INDEX)命令創建全文索引要比把記錄插入帶有全文索引的空表更快。本文下面的討論不再涉及全文索引,要了解更多信息,請參見MySQL documentation。 詳細見:mysql全文索引
3.1.5單列索引與多列索引
索引可以是單列索引,也可以是多列索引。下面我們通過具體的例子來說明這兩種索引的區別。
示例:假設有這樣一個people表:
CREATE TABLE people ( peopleid SMALLINT NOT NULL AUTO_INCREMENT, firstname CHAR(50) NOT NULL, lastname CHAR(50) NOT NULL, age SMALLINT NOT NULL, townid SMALLINT NOT NULL, PRIMARY KEY (peopleid) );
下面是我們插入到這個people表的數據:
這個數據片段中有四個名字為“Mikes”的人(其中兩個姓Sullivans,兩個姓McConnells),有兩個年齡為17歲的人,還有一個名字與眾不同的Joe Smith。
這個表的主要用途是根據指定的用戶姓、名以及年齡返回相應的peopleid。例如,我們可能需要查找姓名為Mike Sullivan、年齡17歲用戶的peopleid(SQL命令為SELECT peopleid FROM people WHERE firstname='Mike' AND lastname='Sullivan' AND age=17;)。由於我們不想讓MySQL每次執行查詢就去掃描整個表,這里需要考慮運用索引。
首先,我們可以考慮在單個列上創建索引,比如firstname、lastname或者age列。如果我們創建firstname列的索引(ALTER TABLE people ADD INDEX firstname (firstname);),MySQL將通過這個索引迅速把搜索范圍限制到那些firstname='Mike'的記錄,然后再在這個“中間結果集”上 進行其他條件的搜索:它首先排除那些lastname不等於“Sullivan”的記錄,然后排除那些age不等於17的記錄。當記錄滿足所有搜索條件之 后,MySQL就返回最終的搜索結果。
由於建立了firstname列的索引,與執行表的完全掃描相比,MySQL的效率提高了很多,但我們要求MySQL掃描的記錄數量仍舊遠遠超過了實際所 需要的。雖然我們可以刪除firstname列上的索引,再創建lastname或者age列的索引,但總地看來,不論在哪個列上創建索引搜索效率仍舊相 似。
為了提高搜索效率,我們需要考慮運用多列索引。如果為firstname、lastname和age這三個列創建一個多列索引,一個多列索引可以由最多15個列組成。MySQL只需一次檢索就能夠找出正確的結果!下面是創建這個多列索引的SQL命令:
ALTER TABLE people ADD INDEX fname_lname_age (firstname,lastname,age);
由於索引文件以B-樹格式保存,MySQL能夠立即轉到合適的firstname,然后再轉到合適的lastname,最后轉到合適的age。在沒有掃描數據文件任何一個記錄的情況下,MySQL就正確地找出了搜索的目標記錄!
那么,如果在firstname、lastname、age這三個列上分別創建單列索引,效果是否和創建一個firstname、lastname、 age的多列索引一樣呢?答案是否定的,兩者完全不同。當我們執行查詢的時候,MySQL只能使用一個索引。如果你有三個單列的索引,MySQL會試圖選擇一個限制最嚴格的索引。但是,即使是限制最嚴格的單列索引,它的限制能力也肯定遠遠低於firstname、lastname、age這三個列上的多列索引。
3.1.6最左前綴
多列索引還有另外一個優點,它通過稱為最左前綴(Leftmost Prefixing)的概念體現出來。繼續考慮前面的例子,現在我們有一個firstname、lastname、age列上的多列索引,我們稱這個索引 為fname_lname_age。當搜索條件是以下各種列的組合時,MySQL將使用fname_lname_age索引:
firstname,lastname,age
firstname,lastname
firstname
從另一方面理解,它相當於我們創建了(firstname,lastname,age)、(firstname,lastname)以及(firstname)這些列組合上的索引。下面這些查詢都能夠使用這個fname_lname_age索引:
SELECT peopleid FROM people WHERE firstname='Mike' AND lastname='Sullivan' AND age='17'; SELECT peopleid FROM people WHERE firstname='Mike' AND lastname='Sullivan'; SELECT peopleid FROM people WHERE firstname='Mike'; #The following queries cannot use the index at all: SELECT peopleid FROM people WHERE lastname='Sullivan'; SELECT peopleid FROM people WHERE age='17'; SELECT peopleid FROM people WHERE lastname='Sullivan' AND age='17';
3.1.7空間索引
使用SPATIAL參數可以設置索引為空間索引。空間索引只能建立在空間數據類型上,這樣可以提高系統獲取空間數據的效率。MySQL中的空間數據類型包括GEOMETRY和POINT、LINESTRING和POLYGON等。目前只有MyISAM存儲引擎支持空間檢索,而且索引的字段不能為空值。對於初學者來說,這類索引很少會用到。
3.2、索引的類型(從數據結構角度)
索引是在存儲引擎中實現的,而不是在服務器層中實現的。所以,每種存儲引擎的索引都不一定完全相同,並不是所有的存儲引擎都支持所有的索引類型。
3.2.1、B-Tree索引
B-Tree:每一個葉子節點都包含指向下一個葉子節點的指針,從而方便葉子節點的范圍遍歷。B-Tree通常意味着所有的值都是按順序存儲的,並且每一個葉子頁到根的距離相同,很適合查找范圍數據。
B+樹是一個平衡的多叉樹,從根節點到每個葉子節點的高度差值不超過1,而且同層級的節點間有指針相互鏈接。
在B+樹上的常規檢索,從根節點到葉子節點的搜索效率基本相當,不會出現大幅波動,而且基於索引的順序掃描時,也可以利用雙向指針快速左右移動,效率非常高。
因此,B+樹索引被廣泛應用於數據庫、文件系統等場景。順便說一下,xfs文件系統比ext3/ext4效率高很多的原因之一就是,它的文件及目錄索引結構全部采用B+樹索引,而ext3/ext4的文件目錄結構則采用Linked list, hashed B-tree、Extents/Bitmap等索引數據結構,因此在高I/O壓力下,其IOPS能力不如xfs。
假設有如下一個表:
CREATE TABLE People ( last_name varchar(50) not null, first_name varchar(50) not null, dob date not null, gender enum('m', 'f') not null, key(last_name, first_name, dob) );
其索引包含表中每一行的last_name、first_name和dob列。其結構大致如下:
索引存儲的值按索引列中的順序排列。可以利用B-Tree索引進行全關鍵字、關鍵字范圍和關鍵字前綴查詢,當然,如果想使用索引,你必須保證按索引的最左邊前綴(leftmost prefix of the index)來進行查詢。
(1)匹配全值(Match the full value):對索引中的所有列都指定具體的值。例如,上圖中索引可以幫助你查找出生於1960-01-01的Cuba Allen。
(2)匹配最左前綴(Match a leftmost prefix):你可以利用索引查找last name為Allen的人,僅僅使用索引中的第1列。
(3)匹配列前綴(Match a column prefix):例如,你可以利用索引查找last name以J開始的人,這僅僅使用索引中的第1列。
(4)匹配值的范圍查詢(Match a range of values):可以利用索引查找last name在Allen和Barrymore之間的人,僅僅使用索引中第1列。
(5)匹配部分精確而其它部分進行范圍匹配(Match one part exactly and match a range on another part):可以利用索引查找last name為Allen,而first name以字母K開始的人。
(6)僅對索引進行查詢(Index-only queries):如果查詢的列都位於索引中,則不需要讀取元組的值。(覆蓋索引)
由於B-樹中的節點都是順序存儲的,所以可以利用索引進行查找(找某些值),也可以對查詢結果進行ORDER BY。
當然,使用B-tree索引有以下一些限制:
(1) 查詢必須從索引的最左邊的列開始,否則無法使用索引。關於這點已經提了很多遍了。例如你不能利用索引查找在某一天出生的人。
(2) 不能跳過某一索引列。例如,你不能利用索引查找last name為Smith且出生於某一天的人。
(3) 存儲引擎不能使用索引中范圍條件右邊的列。例如,如果你的查詢語句為WHERE last_name="Smith" AND first_name LIKE 'J%' AND dob='1976-12-23',則該查詢只會使用索引中的前兩列,因為LIKE是范圍查詢。
3.2.2、Hash索引
哈希索引基於哈希表實現,只有精確索引所有列的查詢才有效。對於每一行數據,存儲引擎都會對所有的索引列計算一個哈希碼,哈希碼是一個較小的值,並且不同鍵值的行計算出來的哈希碼也不一樣。哈希索引將所有的哈希存儲在索引中,同時在哈希表中保存指向每個數據的指針。
MySQL中,只有Memory存儲引擎顯示支持hash索引,是Memory表的默認索引類型,盡管Memory表也可以使用B-Tree索引。Memory存儲引擎支持非唯一hash索引,這在數據庫領域是罕見的,如果多個值有相同的hash code,索引把它們的行指針用鏈表保存到同一個hash表項中。
假設創建如下一個表:
CREATE TABLE testhash ( fname VARCHAR(50) NOT NULL, lname VARCHAR(50) NOT NULL, KEY USING HASH(fname) ) ENGINE=MEMORY;
包含的數據如下:
假設索引使用hash函數f( ),如下:
f('Arjen') = 2323 f('Baron') = 7437 f('Peter') = 8784 f('Vadim') = 2458
此時,索引的結構大概如下:
哈希索引中存儲的是:哈希值+數據行指針
Slots是有序的,但是記錄不是有序的。當你執行
mysql> SELECT lname FROM testhash WHERE fname='Peter';
MySQL會計算’Peter’的hash值,然后通過它來查詢索引的行指針。因為f('Peter') = 8784,MySQL會在索引中查找8784,得到指向記錄3的指針。
因為索引自己僅僅存儲很短的值,所以,索引非常緊湊。Hash值不取決於列的數據類型,一個TINYINT列的索引與一個長字符串列的索引一樣大。
Hash索引有以下一些限制:
(1)由於索引僅包含hash code和記錄指針,所以,MySQL不能通過使用索引避免讀取記錄。但是訪問內存中的記錄是非常迅速的,不會對性造成太大的影響。
(2)哈希索引數據並不是按照索引值順序存儲的,所以不能使用hash索引排序。
(3)Hash索引不支持鍵的部分匹配,因為是通過整個索引值來計算hash值的。例如,在數據列(A,B)上建立哈希索引,如果查詢只有數據列A,則無法使用該索引。
(4)Hash索引只支持等值比較,例如使用=,IN( )和<=>。對於WHERE price>100並不能加速查詢。
(5)訪問Hash索引的速度非常快,除非有很多哈希沖突(不同的索引列值卻有相同的哈希值)。當出現哈希沖突的時候,存儲引擎必須遍歷鏈表中所有的行指針,逐行進行比較,直到找到所有符合條件的行。
(6)如果哈希沖突很多的話,一些索引維護操作的代價也會很高。當從表中刪除一行時,存儲引擎要遍歷對應哈希值的鏈表中的每一行,找到並刪除對應行的引用,沖突越多,代價越大。
InnoDB引擎有一個特殊的功能叫做“自適應哈希索引”。當InnoDB注意到某些索引值被使用得非常頻繁時,它會在內存中基於B-Tree索引上再創建一個哈希索引,這樣就像B-Tree索引也具有哈希索引的一些優點,比如快速的哈希查找。
創建哈希索引:如果存儲引擎不支持哈希索引,則可以模擬像InnoDB一樣創建哈希索引,這可以享受一些哈希索引的便利,例如只需要很小的索引就可以為超長的鍵創建索引。
思路很簡單:在B-Tree基礎上創建一個偽哈希索引。這和真正的哈希索引不是一回事,因為還是使用B-Tree進行查找,但是它使用哈希值而不是鍵本身進行索引查找。你需要做的就是在查詢的where子句中手動指定使用哈希函數。這樣實現的缺陷是需要維護哈希值。可以手動維護,也可以使用觸發器實現。
如果采用這種方式,記住不要使用SHA1和MD5作為哈希函數。因為這兩個函數計算出來的哈希值是非常長的字符串,會浪費大量空間,比較時也會更慢。SHA1和MD5是強加密函數,設計目標是最大限度消除沖突,但這里並不需要這樣高的要求。簡單哈希函數的沖突在一個可以接受的范圍,同時又能夠提供更好的性能。
如果數據表非常大,CRC32會出現大量的哈希沖突,CRC32返回的是32位的整數,當索引有93000條記錄時出現沖突的概率是1%。
處理哈希沖突:當使用哈希索引進行查詢時,必須在where子句中包含常量值。
3.2.3、空間(R-Tree)索引
MyISAM支持空間索引,主要用於地理空間數據類型,例如GEOMETRY。和B-TREE索引不同,這類索引無須前綴查詢。空間索引會從所有到維度來索引數據。查詢時,可以有效地使用任意維度來組合查詢。必須使用MySQL的GIS相關函數如MBRCONTAINS()等來維護數據。MySQL的GIS支持並不完善,所以大部分人都不會使用這個特性。開源關系數據庫系統中對GIS的解決方案做得比較好的是PostgreSQL的PostGIS。
3.2.4、全文(Full-text)索引
全文索引是MyISAM的一個特殊索引類型,innodb的5.6以上版本也支持,它查找的是文本中的關鍵詞主要用於全文檢索。
全文索引是一種特殊類型的索引,它查找都是文本中的關鍵詞,而不是直接比較索引中的值。全文搜索和其他幾類索引匹配方式完全不一樣。它有許多需要注意的細節,如停用詞、詞干和復數、布爾搜索等。全文索引更類似於搜索引擎做的事情,而不是簡單的WHERE條件匹配。
在相同的列上同時創建全文索引和基於值對B-Tree索引不會有沖突,全文索引適用於MATCH AGAINST操作,而不是普通的WHERE條件操作。
3.3、從物理存儲角度索引分類
3.3.1、聚簇索引(Clustered Indexes)
聚簇索引保證關鍵字的值相近的元組存儲的物理位置也相同(所以字符串類型不宜建立聚簇索引,特別是隨機字符串,會使得系統進行大量的移動操作),且一個表只能有一個聚簇索引。因為由存儲引擎實現索引,所以,並不是所有的引擎都支持聚簇索引。目前,只有solidDB和InnoDB支持。
3.3.2、非聚簇索引
3.3.3、聚簇索引的結構大致如下:
葉子頁包含了行的全部數據,但是節點頁只包含了索引列。
二級索引葉子節點保存的不是指行的物理位置的指針,而是行的主鍵值。這意味着通過二級索引查找行,存儲引擎需要找到二級索引的葉子節點獲取對應的主鍵值,然后根據這個值去聚簇索引中查找到對應的行。這里做了重復的工作:兩次B-TREE查找而不是一次。
注:葉子頁面包含完整的元組,而內節點頁面僅包含索引的列(索引的列為整型)。一些DBMS允許用戶指定聚簇索引,但是MySQL的存儲引擎到目前為止都不支持。InnoDB對主鍵建立聚簇索引。如果你不指定主鍵,InnoDB會用一個具有唯一且非空值的索引來代替。如果不存在這樣的索引,InnoDB會定義一個隱藏的主鍵,然后對其建立聚簇索引。一般來說,DBMS都會以聚簇索引的形式來存儲實際的數據,它是其它二級索引的基礎。
3.3.4、InnoDB和MyISAM的數據布局的比較
為了更加理解聚簇索引和非聚簇索引,或者primary索引和second索引(MyISAM不支持聚簇索引),來比較一下InnoDB和MyISAM的數據布局,對於如下表:
CREATE TABLE layout_test ( col1 int NOT NULL, col2 int NOT NULL, PRIMARY KEY(col1), KEY(col2) );
假設主鍵的值位於1---10,000之間,且按隨機順序插入,然后用OPTIMIZE TABLE進行優化。col2隨機賦予1---100之間的值,所以會存在許多重復的值。
(1) MyISAM的數據布局
其布局十分簡單,MyISAM按照插入的順序在磁盤上存儲數據,如下:
注:左邊為行號(row number),從0開始。因為元組的大小固定,所以MyISAM可以很容易的從表的開始位置找到某一字節的位置。
MyISAM建立的primary key的索引結構大致如下:
注:MyISAM不支持聚簇索引,索引中每一個葉子節點僅僅包含行號(row number),且葉子節點按照col1的順序存儲。
來看看col2的索引結構:
實際上,在MyISAM中,primary key和其它索引沒有什么區別。Primary key僅僅只是一個叫做PRIMARY的唯一,非空的索引而已,葉子節點按照col2的順序存儲。
(2) InnoDB的數據布局
InnoDB按聚簇索引的形式存儲數據,所以它的數據布局有着很大的不同。它存儲表的結構大致如下:
注:聚簇索引中的每個葉子節點包含primary key的值,事務ID和回滾指針(rollback pointer)——用於事務和MVCC,和余下的列(如col2)。
相對於MyISAM,InnoDB的二級索引與聚簇索引有很大的不同。InnoDB的二級索引的葉子包含primary key的值,而不是行指針(row pointers),這樣的策略減小了移動數據或者數據頁面分裂時維護二級索引的開銷,因為InnoDB不需要更新索引的行指針。其結構大致如下:
聚簇索引和非聚簇索引表的對比:
3.3.4、按primary key的順序插入行(InnoDB)
如果你用InnoDB,而且不需要特殊的聚簇索引,一個好的做法就是使用代理主鍵(surrogate key)——獨立於你的應用中的數據。最簡單的做法就是使用一個AUTO_INCREMENT的列,這會保證記錄按照順序插入,而且能提高使用primary key進行連接的查詢的性能。應該盡量避免隨機的聚簇主鍵,例如,字符串主鍵就是一個不好的選擇,它使得插入操作變得隨機。
四、覆蓋索引(Covering Indexes)
覆蓋索引是一種非常強大的工具,能大大提高查詢性能。設計優秀的索引應該考慮到整個查詢,而不單單的where條件部分。索引確實是一種查找數據的高效方式,但是MYSQL也可以使用索引來直接獲取列的數據,這樣就不再需要讀取數據行。索引的葉子節點中已經包含要查詢的數據,那么就沒有必要再回表查詢了,如果索引包含滿足查詢的所有數據,就稱為覆蓋索引。
解釋一: 就是select的數據列只用從索引中就能夠取得,不必從數據表中讀取,換句話說查詢列要被所使用的索引覆蓋。
解釋二: 索引是高效找到行的一個方法,當能通過檢索索引就可以讀取想要的數據,那就不需要再到數據表中讀取行了。如果一個索引包含了(或覆蓋了)滿足查詢語句中字段與條件的數據就叫做覆蓋索引。
解釋三: 是非聚集組合索引的一種形式,它包括在查詢里的Select、Join和Where子句用到的所有列(即建立索引的字段正好是覆蓋查詢語句[select子句]與查詢條件[Where子句]中所涉及的字段,也即,索引包含了查詢正在查找的所有數據)。
只需要讀取索引而不用讀取數據有以下一些優點:
(1)索引項通常比記錄要小,所以MySQL訪問更少的數據;
(2)索引都按值的大小順序存儲,相對於隨機訪問記錄,需要更少的I/O;
(3)大多數據引擎能更好的緩存索引。比如MyISAM只緩存索引。
(4)覆蓋索引對於InnoDB表尤其有用,因為InnoDB使用聚集索引組織數據,如果二級索引中包含查詢所需的數據,就不再需要在聚集索引中查找了。
覆蓋索引不能是任何索引,只有B-TREE索引存儲相應的值。而且不同的存儲引擎實現覆蓋索引的方式都不同,並不是所有存儲引擎都支持覆蓋索引(Memory和Falcon就不支持)。
對於索引覆蓋查詢(index-covered query),使用EXPLAIN時,可以在Extra一列中看到“Using index”。例如,在sakila的inventory表中,有一個組合索引(store_id,film_id),對於只需要訪問這兩列的查詢,MySQL就可以使用索引,如下:
mysql> EXPLAIN SELECT store_id, film_id FROM sakila.inventory\G *************************** 1. row *************************** id: 1 select_type: SIMPLE table: inventory type: index possible_keys: NULL key: idx_store_id_film_id key_len: 3 ref: NULL rows: 5007 Extra: Using index 1 row in set (0.17 sec)
(同時查詢actor_id[主鍵]與last_name[索引字段])在大多數引擎中,只有當查詢語句所訪問的列是索引的一部分時,索引才會覆蓋。但是,InnoDB不限於此,InnoDB的二級索引在葉子節點中存儲了primary key的值。因此,sakila.actor表使用InnoDB,而且對於是last_name上有索引,所以,索引能覆蓋那些訪問actor_id的查詢,如:
mysql> EXPLAIN SELECT actor_id, last_name -> FROM sakila.actor WHERE last_name = 'HOPPER'\G *************************** 1. row *************************** id: 1 select_type: SIMPLE table: actor type: ref possible_keys: idx_actor_last_name key: idx_actor_last_name key_len: 137 ref: const rows: 2 Extra: Using where; Using index
五、利用索引進行排序
MySQL中,有兩種方式生成有序結果集:
- 一是使用filesort
- 二是按索引順序掃描
如果explain出來的type列的值為“index”,則說明MYSQL使用了索引掃描來做排序。利用索引進行排序操作是非常快的,因為只需要從一條索引記錄移動到緊接着的下一條記錄。但如果索引不能覆蓋查詢所需的全部列,那就不得不每掃描一條索引記錄就回表查詢一次對應的行,這基本上都是隨機IO,因此按索引順序讀取的速度通常要比順序地全表掃描慢,尤其是在IO密集型的工作負載時。
而且可以利用同一索引同時進行查找和排序操作。當索引的順序與ORDER BY中的列順序相同且所有的列是同一方向(全部升序或者全部降序)時,可以使用索引來排序。如果查詢是連接多個表,僅當ORDER BY中的所有列都是第一個表的列時才會使用索引。其它情況都會使用filesort文件排序。
create table actor( actor_id int unsigned NOT NULL AUTO_INCREMENT, name varchar(16) NOT NULL DEFAULT '', password varchar(16) NOT NULL DEFAULT '', PRIMARY KEY(actor_id), KEY (name) ) ENGINE=InnoDB; insert into actor(name,password) values('cat01','1234567'); insert into actor(name,password) values('cat02','1234567'); insert into actor(name,password) values('ddddd','1234567'); insert into actor(name,password) values('aaaaa','1234567');
explain結果:
mysql> explain select actor_id from actor order by actor_id \G *************************** 1. row *************************** id: 1 select_type: SIMPLE table: actor type: index possible_keys: NULL key: PRIMARY key_len: 4 ref: NULL rows: 4 Extra: Using index 1 row in set (0.00 sec) mysql> explain select actor_id from actor order by password \G *************************** 1. row *************************** id: 1 select_type: SIMPLE table: actor type: ALL possible_keys: NULL key: NULL key_len: NULL ref: NULL rows: 4 Extra: Using filesort 1 row in set (0.00 sec) mysql> explain select actor_id from actor order by name \G *************************** 1. row *************************** id: 1 select_type: SIMPLE table: actor type: index possible_keys: NULL key: name key_len: 18 ref: NULL rows: 4 Extra: Using index 1 row in set (0.00 sec)
對於filesort,MySQL有兩種排序算法。 當MySQL不能使用索引進行排序時,就會利用自己的排序算法(快速排序算法)在內存(sort buffer)中對數據進行排序,如果內存裝載不下,它會將磁盤上的數據進行分塊,再對各個數據塊進行排序,然后將各個塊合並成有序的結果集(實際上就是外排序,使用臨時表)。
(1)兩次掃描算法(Two passes)
實現方式是先將需要排序的字段和可以直接定位到相關行數據的指針信息取出,然后在設定的內存(通過參數sort_buffer_size設定)中進行排序,完成排序之后再次通過行指針信息取出所需的Columns。
注:該算法是4.1之前采用的算法,它需要兩次訪問數據,尤其是第二次讀取操作會導致大量的隨機I/O操作。另一方面,內存開銷較小。
(2)一次掃描算法(single pass)
該算法一次性將所需的Columns全部取出,在內存中排序后直接將結果輸出。
注:從 MySQL 4.1 版本開始使用該算法。它減少了I/O的次數,效率較高,但是內存開銷也較大。如果我們將並不需要的Columns也取出來,就會極大地浪費排序過程所需要的內存。在 MySQL 4.1 之后的版本中,可以通過設置 max_length_for_sort_data 參數來控制 MySQL 選擇第一種排序算法還是第二種。當取出的所有大字段總大小大於 max_length_for_sort_data 的設置時,MySQL 就會選擇使用第一種排序算法,反之,則會選擇第二種。為了盡可能地提高排序性能,我們自然更希望使用第二種排序算法,所以在 Query 中僅僅取出需要的 Columns 是非常有必要的。
當對連接操作進行排序時,如果ORDER BY僅僅引用第一個表的列,MySQL對該表進行filesort操作,然后進行連接處理,此時,EXPLAIN輸出“Using filesort”;否則,MySQL必須將查詢的結果集生成一個臨時表,在連接完成之后進行filesort操作,此時,EXPLAIN輸出“Using temporary;Using filesort”。
六、索引與加鎖
索引對於InnoDB非常重要,因為它可以讓查詢鎖更少的元組。這點十分重要,因為MySQL 5.0中,InnoDB直到事務提交時才會解鎖。有兩個方面的原因:首先,即使InnoDB行級鎖的開銷非常高效,內存開銷也較小,但不管怎么樣,還是存在開銷。其次,對不需要的元組的加鎖,會增加鎖的開銷,降低並發性。
InnoDB僅對需要訪問的元組加鎖,而索引能夠減少InnoDB訪問的元組數。但是,只有在存儲引擎層過濾掉那些不需要的數據才能達到這種目的。一旦索引不允許InnoDB那樣做(即達不到過濾的目的),MySQL服務器只能對InnoDB返回的數據進行WHERE操作,此時,已經無法避免對那些元組加鎖了:InnoDB已經鎖住那些元組,服務器無法解鎖了。
來看個例子:
create table actor( actor_id int unsigned NOT NULL AUTO_INCREMENT, name varchar(16) NOT NULL DEFAULT '', password varchar(16) NOT NULL DEFAULT '', PRIMARY KEY(actor_id), KEY (name) ) ENGINE=InnoDB; insert into actor(name,password) values('cat01','1234567'); insert into actor(name,password) values('cat02','1234567'); insert into actor(name,password) values('ddddd','1234567'); insert into actor(name,password) values('aaaaa','1234567');
SET AUTOCOMMIT=0; BEGIN; SELECT actor_id FROM actor WHERE actor_id < 4 AND actor_id <> 1 FOR UPDATE;
mysql> EXPLAIN SELECT actor_id FROM test.actor -> WHERE actor_id < 4 AND actor_id <> 1 FOR UPDATE \G *************************** 1. row *************************** id: 1 select_type: SIMPLE table: actor type: index possible_keys: PRIMARY key: PRIMARY key_len: 4 ref: NULL rows: 4 Extra: Using where; Using index 1 row in set (0.00 sec) mysql>
該查詢僅僅返回2---3的數據,實際已經對1---3的數據加上排它鎖了。InnoDB鎖住元組1是因為MySQL的查詢計划僅使用索引進行范圍查詢(而沒有進行過濾操作,WHERE中第二個條件已經無法使用索引了):
表明存儲引擎從索引的起始處開始,獲取所有的行,直到actor_id<4為假,服務器無法告訴InnoDB去掉元組1。
為了證明row 1已經被鎖住,我們另外建一個連接,執行如下操作:
SET AUTOCOMMIT=0; BEGIN; SELECT actor_id FROM actor WHERE actor_id = 1 FOR UPDATE;
該查詢會被掛起,直到第一個連接的事務提交釋放鎖時,才會執行(這種行為對於基於語句的復制(statement-based replication)是必要的)。
如上所示,當使用索引時,InnoDB會鎖住它不需要的元組。更糟糕的是,如果查詢不能使用索引,MySQL會進行全表掃描,並鎖住每一個元組,不管是否真正需要。
七、索引的優點:
最常見的B-Tree索引,按照順序存儲數據,所以MYSQL可以用來做order by和group by操作。因為數據是有序的,所以B-Tree也就會將相關的列值存儲在一起。最后,因為索引中存儲了實際的列值,所以某些查詢只使用索引就能夠完成全部查詢。總結下來索引有如下三個優點:
1,索引大大減小了服務器需要掃描的數據量
2,索引可以幫助服務器避免排序和臨時表
3,索引可以將隨機IO變成順序IO
索引三星系統:
一星:索引將相關的記錄放到一起
二星:索引中的數據順序和查找中的排列順序一致
三星:索引中的列包含了查詢中需要的全部列
索引是最好的解決方案嗎?
索引並不總是最好的工具。總的來說只有索引幫助存儲引擎快速查找到記錄的好處大於其帶來的額外工作時,索引才是有效的。
對於非常小的表,大部分情況下簡單的全表掃描更高效;
對於中到大型的表,索引就非常有效。
但對於特大型的表,建立和使用索引的代價將隨之增長。這種情況下需要一種技術可以直接區分出查詢需要的一組數據,而不是一條記錄一條記錄地匹配。例如使用分區技術。
如果表的數量特別多,可以建立一個元數據信息表,用來查詢需要用到的某些特性。例如執行那些需要聚合多個應用分布在多個表的數據的查詢,則需要記錄“哪個用戶的信息存儲在哪個表中”的元數據,這樣在查詢時就可以直接忽略那些不包含指定用戶信息的表。
八、高性能的索引策略
5.1獨立的列
獨立的列是指索引列不能是表達式的一部分,也不是是函數的參數。例如以下兩個查詢無法使用索引:
1)表達式: select actor_id from sakila.actor where actor_id+1=5;
2)函數參數:select ... where TO_DAYS(CURRENT_DATE) - TO_DAYS(date_col)<=10;
5.2前綴索引和索引選擇性
有時需要索引很長的字符列,它會使索引變大而且變慢。一個策略就是模擬哈希索引。但是有時這也不夠好,那?
通常可以索引開始的幾個字符,而不是全部值,以節約空間並得到好的性能。這使索引需要的空間變小,但這樣也會降低索引的選擇性。索引的選擇性是指,不重復的索引值(基數)和數據表中的記錄總數(#T)的比值,范圍從1/#T之間。索引的選擇性越高則查詢效率越高,因為選擇性高的索引可以讓MYSQL在查找時過濾掉更多的行。
唯一索引的選擇性是1,這是最好的索引選擇性,性能也是最好的。
一般情況下某個前綴的選擇性也是足夠高的,足以滿足查詢性能。對於BLOB、TEXT或者很長的VARCHAR類型的列,必須使用前綴索引,因為mysql不允許索引它們的全文化。
可以在同一個查詢中針對許多不同的前綴長度進行計算,選擇選擇性好的。
(用LEFT函數,left(city,4))
添加前綴索引
mysql>alter table test.test add key (city(7));
前綴索引能很好地減少索引的大小及提高速度,但是mysql不能在order by 和group by查詢中使用前綴索引,也不能把它們用來覆蓋索引。
有時后綴索引也挺有用,例如查找某個域名的所有電子郵件地址。mysql不支持反向索引,但是可以把反向字符串保存起來,並且索引它的前綴。可以用觸發器維護這種索引。
決竅:在於要選擇足夠長的前綴以保證較高的選擇性,同時又不能太長(以便節約空間)。前綴應該足夠長,以使得前綴索引的選擇性接近於索引整個列。換句話說,前綴的“基數”應該接近於完整列的“基數”。為了決定前綴的合適長度,需要找到最常見的值的列表,然后和最常見的前綴列表進行比較。例如以下查詢:
select count(*) as cnt,city from sakila.city_demo group by city order by cnt desc limit 10;
select count(*) as cnt,left(city,7) as perf from sakila.city_demo group by city order by cnt desc limit 10;
直到這個前綴的選擇性接近完整列的選擇性。
計算合適的前綴長度的另一個方法就是計算完整列的選擇性,並使前綴的選擇性接近於完整列的選擇性,如下:
select count(distinct city)/count(*) from sakila.city_demo;
select count(distinct left(city,7))/count(*) from sakila.city_demo;
前綴索引是一種能使索引更小、更快的有效辦法,但另一方面也有其缺點:MYSQL無法使用前綴索引做order by和group by,也無法使用前綴索引做覆蓋掃描。
5.3多列索引
一個多列索引與多個列索引MYSQL在解析執行上是不一樣的,如果在explain中看到有索引合並,應該好好檢查一下查詢的表和結構是不是已經最優。
5.4選擇合適的索引列順序
對於如何選擇索引的順序有一個經驗法則:將選擇性最高的列放在索引最前列。
當不需要考慮排序和分組時,將選擇性最高的列放在前面通常是最好的。然后,性能不只是依賴於所有索引列的選擇性(整體基數),也和查詢條件的具體值有關,也就是和值的分布有關。這和前面介紹的選擇前綴的長度需要考慮的地方一樣。可能需要根據那些運行頻率最高的查詢來調整索引列的順序,讓這種情況下索引的選擇性最高。
使用經驗法則要注意不要假設平均情況下的性能也能代表特殊情況下的性能,特殊情況可能會摧毀整個應用的性能(當使用前綴索引時,在某些條件值的基數比正常值高的時候)。
5.5單列索引、多列索引以及最左前綴 原則及使用上的特點
結合實例說明如下:現在我們想查出滿足以下條件的用戶id:
mysql>SELECT `uid` FROM people WHERE lname`='Liu' AND `fname`='Zhiqun' AND `age`=26
因為我們不想掃描整表,故考慮用索引。
單列索引:
ALTER TABLE people ADD INDEX lname (lname);
將lname列建索引,這樣就把范圍限制在lname='Liu'的結果集1上,之后掃描結果集1,產生滿足fname='Zhiqun'的結果集2,再掃描結果集2,找到 age=26的結果集3,即最終結果。
由 於建立了lname列的索引,與執行表的完全掃描相比,效率提高了很多,但我們要求掃描的記錄數量仍舊遠遠超過了實際所需 要的。雖然我們可以刪除lname列上的索引,再創建fname或者age 列的索引,但是,不論在哪個列上創建索引搜索效率仍舊相似。
2.多列索引:
ALTER TABLE people ADD INDEX lname_fname_age (lame,fname,age);
為了提高搜索效率,我們需要考慮運用多列索引,由於索引文件以B-Tree格式保存,所以我們不用掃描任何記錄,即可得到最終結果。
注:在mysql中執行查詢時,只能使用一個索引,如果我們在lname,fname,age上分別建索引,執行查詢時,只能使用一個索引,mysql會選擇一個最嚴格(獲得結果集記錄數最少)的索引。
3.最左前綴:顧名思義,就是最左優先,上例中我們創建了lname_fname_age多列索引,相當於創建了(lname)單列索引,(lname,fname)組合索引以及(lname,fname,age)組合索引。
注:在創建多列索引時,要根據業務需求,where子句中使用最頻繁的一列放在最左邊。
九、分析索引效率
現在我們已經知道了一些如何選擇索引列的知識,但還無法判斷哪一個最有效。MySQL提供了一個內建的SQL命令幫助我們完成這個任務,這就是 EXPLAIN命令。EXPLAIN命令的一般語法是:EXPLAIN 。你可以在MySQL文檔找到有關該命令的更多說明。下面是一個例子:
EXPLAIN SELECT peopleid FROM people WHERE firstname='Mike' AND lastname='Sullivan' AND age='17';
這個命令將返回下面這種分析結果:
下面我們就來看看這個EXPLAIN分析結果的含義。
見explain章節
十、索引的缺點
到目前為止,我們討論的都是索引的優點。事實上,索引也是有缺點的。
首先,索引要占用磁盤空間。通常情況下,這個問題不是很突出。但是,如果你創建每一種可能列組合的索引,索引文件體積的增長速度將遠遠超過數據文件。如果你有一個很大的表,索引文件的大小可能達到操作系統允許的最大文件限制。
第二,對於需要寫入數據的操作,比如DELETE、UPDATE以及INSERT操作,索引會降低它們的速度。這是因為MySQL不僅要把改動數據寫入數據文件,而且它還要把這些改動寫入索引文件。
【結束語】在大型數據庫中,索引是提高速度的一個關鍵因素。不管表的結構是多么簡單,一次500000行的表掃描操作無論如何不會快。如果你的網站上也有 這種大規模的表,那么你確實應該花些時間去分析可以采用哪些索引,並考慮是否可以改寫查詢以優化應用。要了解更多信息,請參見MySQL manual。另外注意,本文假定你所使用的MySQL是3.23版,部分查詢不能在3.22版MySQL上執行。