一 介紹
為何要有索引?
一般的應用系統,讀寫比例在10:1左右,而且插入操作和一般的更新操作很少出現性能問題,在生產環境中,我們遇到最多的,也是最容易出問題的,還是一些復雜的查詢操作,因此對查詢語句的優化顯然是重中之重。說起加速查詢,就不得不提到索引了。
什么是索引?
索引在MySQL中也叫做“鍵”或者"key"(primary key,unique key,還有一個index key),是存儲引擎用於快速找到記錄的一種數據結構。索引對於良好的性能非常關鍵,尤其是當表中的數據量越來越大時,索引對於性能的影響愈發重要,減少io次數,加速查詢。(其中primary key和unique key,除了有加速查詢的效果之外,還有約束的效果,primary key 不為空且唯一,unique key 唯一,而index key只有加速查詢的效果,沒有約束效果)
索引優化應該是對查詢性能優化最有效的手段了。索引能夠輕易將查詢性能提高好幾個數量級。
索引相當於字典的音序表,如果要查某個字,如果不使用音序表,則需要從幾百頁中逐頁去查。
強調:一旦為表創建了索引,以后的查詢最好先查索引,再根據索引定位的結果去找數據
30 10 40 5 15 35 66 1 6 11 19 21 39 55 100
你是否對索引存在誤解?
索引是應用程序設計和開發的一個重要方面。若索引太多,應用程序的性能可能會受到影響。而索引太少,對查詢性能又會產生影響,要找到一個平衡點,這對應用程序的性能至關重要。一些開發人員總是在事后才想起添加索引----我一直認為,這源於一種錯誤的開發模式。如果知道數據的使用,從一開始就應該在需要處添加索引。開發人員往往對數據庫的使用停留在應用的層面,比如編寫SQL語句、存儲過程之類,他們甚至可能不知道索引的存在,或認為事后讓相關DBA加上即可。DBA往往不夠了解業務的數據流,而添加索引需要通過監控大量的SQL語句進而從中找到問題,這個步驟所需的時間肯定是遠大於初始添加索引所需的時間,並且可能會遺漏一部分的索引。當然索引也並不是越多越好,我曾經遇到過這樣一個問題:某台MySQL服務器iostat顯示磁盤使用率一直處於100%,經過分析后發現是由於開發人員添加了太多的索引,在刪除一些不必要的索引之后,磁盤使用率馬上下降為20%。可見索引的添加也是非常有技術含量的。
二 索引的原理
一 索引原理
索引的目的在於提高查詢效率,與我們查閱圖書所用的目錄是一個道理:先定位到章,然后定位到該章下的一個小節,然后找到頁數。相似的例子還有:查字典,查火車車次,飛機航班等,下面內容看不懂的同學也沒關系,能明白這個目錄的道理就行了。 那么你想,書的目錄占不占頁數,這個頁是不是也要存到硬盤里面,也占用硬盤空間。你再想,你在沒有數據的情況下先建索引或者說目錄快,還是已經存在好多的數據了,然后再去建索引,哪個快,肯定是沒有數據的時候快,因為如果已經有了很多數據了,你再去根據這些數據建索引,是不是要將數據全部遍歷一遍,然后根據數據建立索引。你再想,索引建立好之后再添加數據快,還是沒有索引的時候添加數據快,索引是用來干什么的,是用來加速查詢的,那對你寫入數據會有什么影響,肯定是慢一些了,因為你但凡加入一些新的數據,都需要把索引或者說書的目錄重新做一個,所以索引雖然會加快查詢,但是會降低寫入的效率。
索引的影響
1、在表中有大量數據的前提下,創建索引速度會很慢
2、在索引創建完畢后,對表的查詢性能會發幅度提升,但是寫性能會降低
本質都是:通過不斷地縮小想要獲取數據的范圍來篩選出最終想要的結果,同時把隨機的事件變成順序的事件,也就是說,有了這種索引機制,我們可以總是用同一種查找方式來鎖定數據。
數據庫也是一樣,但顯然要復雜的多,因為不僅面臨着等值查詢,還有范圍查詢(>、<、between、in)、模糊查詢(like)、並集查詢(or)等等。數據庫應該選擇怎么樣的方式來應對所有的問題呢?我們回想字典的例子,能不能把數據分成段,然后分段查詢呢?最簡單的如果1000條數據,1到100分成第一段,101到200分成第二段,201到300分成第三段......這樣查第250條數據,只要找第三段就可以了,一下子去除了90%的無效數據。但如果是1千萬的記錄呢,分成幾段比較好?稍有算法基礎的同學會想到搜索樹,其平均復雜度是lgN,具有不錯的查詢性能。但這里我們忽略了一個關鍵的問題,復雜度模型是基於每次相同的操作成本來考慮的。而數據庫實現比較復雜,一方面數據是保存在磁盤上的,另外一方面為了提高性能,每次又可以把部分數據讀入內存來計算,因為我們知道訪問磁盤的成本大概是訪問內存的十萬倍左右,所以簡單的搜索樹難以滿足復雜的應用場景。
二 磁盤IO與預讀
前面提到了訪問磁盤,那么這里先簡單介紹一下磁盤IO和預讀,磁盤讀取數據靠的是機械運動,每次讀取數據花費的時間可以分為尋道時間、旋轉延遲、傳輸時間三個部分,尋道時間指的是磁臂移動到指定磁道所需要的時間,主流磁盤一般在5ms以下;旋轉延遲就是我們經常聽說的磁盤轉速,比如一個磁盤7200轉/min,表示每分鍾能轉7200次,也就是說1秒鍾能轉120次,旋轉延遲就是1/120/2 = 4.17ms,也就是半圈的時間(這里有兩個時間:平均尋道時間,受限於目前的物理水平,大概是5ms的時間,找到磁道了,還需要找到你數據存在的那個點,尋點時間,這尋點時間的一個平均值就是半圈的時間,這個半圈時間叫做平均延遲時間,那么平均延遲時間加上平均尋道時間就是你找到一個數據所消耗的平均時間,大概9ms,其實機械硬盤慢主要是慢在這兩個時間上了,當找到數據然后把數據拷貝到內存的時間是非常短暫的,和光速差不多了);傳輸時間指的是從磁盤讀出或將數據寫入磁盤的時間,一般在零點幾毫秒,相對於前兩個時間可以忽略不計。那么訪問一次磁盤的時間,即一次磁盤IO的時間約等於5+4.17 = 9ms左右,聽起來還挺不錯的,但要知道一台500 -MIPS(Million Instructions Per Second)的機器每秒可以執行5億條指令,因為指令依靠的是電的性質,換句話說執行一次IO的消耗的時間段下cpu可以執行約450萬條指令,數據庫動輒十萬百萬乃至千萬級數據,每次9毫秒的時間,顯然是個災難,所以我們要想辦法降低IO次數。下圖是計算機硬件延遲的對比圖,供大家參考:
考慮到磁盤IO是非常高昂的操作,計算機操作系統做了一些優化,當一次IO時,不光把當前磁盤地址的數據,而是把相鄰的數據也都讀取到內存緩沖區內,因為局部預讀性原理告訴我們,當計算機訪問一個地址的數據的時候,與其相鄰的數據也會很快被訪問到。每一次IO讀取的數據我們稱之為一頁(page)。具體一頁有多大數據跟操作系統有關,一般為4k或8k,也就是我們讀取一頁內的數據時候,實際上才發生了一次IO,這個理論對於索引的數據結構設計非常有幫助。
三 索引的數據結構
前面講了索引的基本原理,數據庫的復雜性,又講了操作系統的相關知識,目的就是讓大家了解,現在我們來看看索引怎么做到減少IO,加速查詢的。任何一種數據結構都不是憑空產生的,一定會有它的背景和使用場景,我們現在總結一下,我們需要這種數據結構能夠做些什么,其實很簡單,那就是:每次查找數據時把磁盤IO次數控制在一個很小的數量級,最好是常數數量級。那么我們就想到如果一個高度可控的多路搜索樹是否能滿足需求呢?就這樣,b+樹應運而生(B+樹是通過二叉查找樹,再由平衡二叉樹,B樹演化而來,等到后面講算法的時候再將,現在這個階段,你大概了解一下就行了,別深究~~)。
如上圖,是一顆b+樹,最上層是樹根,中間的是樹枝,最下面是葉子節點,關於b+樹的定義可以參見B+樹,這里只說一些重點,淺藍色的塊我們稱之為一個磁盤塊或者叫做一個block塊,這是操作系統一次IO往內存中讀的內容,一個塊對應四個扇區,可以看到每個磁盤塊包含幾個數據項(深藍色所示,一個磁盤塊里面包含多少數據,一個深藍色的塊表示一個數據,其實不是數據,后面有解釋)和指針(黃色所示,看最上面一個,p1表示比上面深藍色的那個17小的數據的位置在哪,看它指針指向的左邊那個塊,里面的數據都比17小,p2指向的是比17大比35小的磁盤塊),如磁盤塊1包含數據項17和35,包含指針P1、P2、P3,P1表示小於17的磁盤塊,P2表示在17和35之間的磁盤塊,P3表示大於35的磁盤塊。真實的數據存在於葉子節點即3、5、9、10、13、15、28、29、36、60、75、79、90、99。非葉子節點只不存儲真實的數據,只存儲指引搜索方向的數據項,如17、35並不真實存在於數據表中。
###b+樹的查找過程
如圖所示,如果要查找數據項29,那么首先會把磁盤塊1由磁盤加載到內存,此時發生一次IO,在內存中用二分查找確定29在17和35之間,鎖定磁盤塊1的P2指針,內存時間因為非常短(相比磁盤的IO)可以忽略不計,通過磁盤塊1的P2指針的磁盤地址把磁盤塊3由磁盤加載到內存,發生第二次IO,29在26和30之間,鎖定磁盤塊3的P2指針,通過指針加載磁盤塊8到內存,發生第三次IO,同時內存中做二分查找找到29,結束查詢,總計三次IO。真實的情況是,3層的b+樹可以表示上百萬的數據,如果上百萬的數據查找只需要三次IO,性能提高將是巨大的,如果沒有索引,每個數據項都要發生一次IO,那么總共需要百萬次的IO,顯然成本非常非常高。除了葉子節點,其他的樹根啊樹枝啊保存的就是數據的索引,他們是為你建立這種數據之間的關系而存在的。
###b+樹性質
1.索引字段要盡量的小:通過上面的分析,我們知道IO次數取決於b+數的高度h或者說層級,這個高度或者層級就是你每次查詢數據的IO次數,假設當前數據表的數據為N,每個磁盤塊的數據項的數量是m,則有h=㏒(m+1)N,當數據量N一定的情況下,m越大,h越小;而m = 磁盤塊的大小 / 數據項的大小,磁盤塊的大小也就是一個數據頁的大小,是固定的,如果數據項占的空間越小,數據項的數量越多,樹的高度越低。這就是為什么每個數據項,即索引字段要盡量的小,比如int占4字節,要比bigint8字節少一半。這也是為什么b+樹要求把真實的數據放到葉子節點而不是內層節點,一旦放到內層節點,磁盤塊的數據項會大幅度下降,導致樹增高。當數據項等於1時將會退化成線性表。
比如:你每個葉子節點只存兩個數據的情況下,你如果想多加兩個數據,你怎么辦
所以我們需要將樹建的越低越好,因為每個磁盤塊的大小是一定的,那么意味着我們單個數據庫里面的單個數據的大小越大越好還是越小越好,你想啊,你現在葉子節點的磁盤塊,兩個數據就沾滿了,你數據要是更大的話,你這一個磁盤塊就只能放一個數據了親,這樣隨着你數據量的增大,你的樹就越高啊,我們應該想辦法讓樹的層數低下來,效率才高啊,所以我們應該讓每個數據的大小盡可能的小,那就意味着,你每個磁盤塊存的數據就越多,你樹的層級就越少啊,樹就越低啊,對不對。並且數據的數量越大,你需要的磁盤塊越多,磁盤塊越多,你需要的樹的層級就越高,所以我們應該盡可能的用更少的磁盤塊來裝更多的數據項,這樣樹的高度才能降下來,怎么才能裝更多的數據項啊,當然是你的數據項越小,你的磁盤塊盛放的數據量就越多了,所以如果一張表中有很多的字段,我們應該用什么字段來建立索引啊,如果你有id字段、name字段、描述信息字段等等的,你應該用哪個來建立索引啊,當然是id字段了,你想想對不對,因為id是個數字,占用空間最少啊。
2.索引的最左匹配特性:簡單來說就是你的數據來了以后,從數據塊的左邊開始匹配,在匹配右邊的,知道這句話就行啦~~~~,我們繼續學下面的內容。當b+樹的數據項是復合的數據結構,比如(name,age,sex)的時候,b+數是按照從左到右的順序來建立搜索樹的,比如當(張三,20,F)這樣的數據來檢索的時候,b+樹會優先比較name來確定下一步的所搜方向,如果name相同再依次比較age和sex,最后得到檢索的數據;但當(20,F)這樣的沒有name的數據來的時候,b+樹就不知道下一步該查哪個節點,因為建立搜索樹的時候name就是第一個比較因子,必須要先根據name來搜索才能知道下一步去哪里查詢。比如當(張三,F)這樣的數據來檢索時,b+樹可以用name來指定搜索方向,但下一個字段age的缺失,所以只能把名字等於張三的數據都找到,然后再匹配性別是F的數據了, 這個是非常重要的性質,即索引的最左匹配特性。
四 聚集索引與輔助索引
聚集索引是什么呢,其實就是我們說的那個主鍵,之前我們說Innodb存儲引擎的表,必須有一個主鍵,還記得為什么嗎,我們說過的...不記得了吧,看下面
還記得MyISAM存儲引擎在創建表的時候會在硬盤上生成哪些文件嗎,是不是有三個.frm\.MYD\.MYI結尾的三個文件,frm結尾的是表結構,MYD結尾的是數據文件,MYI結尾的就是索引文件,也就是說索引也是存在硬盤上的,那InnoDB引擎呢,創建一個表,在硬盤上會生成.frm\.idb結尾的兩個文件,那索引的呢,難道InnoDB就用不了索引嗎?怎么可能?之前咱們有沒有建立過索引啊,primary key、unique key是不是都叫做索引啊,但是索引那個文件去哪了呢,索引是不可能在表結構.frm(存什么字段什么類型這些東西)的文件中,那就只剩下.idb結尾的數據文件了,索引就在這里面,InnoDB引擎的表,它的索引和數據都在同一個文件里面,所以我一直強調,使用InnoDB存儲引擎的時候,每建一個表,就需要給一個主鍵,是因為這個主鍵是InnoDB存儲引擎的.idb文件來組織存儲數據的依據或者說方式,也就是說InnoDB存儲引擎在存儲數據的時候默認就按照索引的那種樹形結構來幫你存。這種索引,我們就稱為聚集索引,也就是在聚集數據組織數據的時候,就用這種索引。InnoDB這么做就是為了加速查詢效率,因為你經常會遇到基於主鍵來查詢數據的情況,並且通常我們把id字段作為主鍵,第一點是因為id占用的數據空間不大,第二點是你經常會用到id來查數據。如果你的表有兩個字段,一個id一個name,id為主鍵,當你查詢的時候如果where后面的條件是name=多少多少,那么你就沒有用到主鍵給你帶來的加速查詢的效果(需要主鍵之外的輔助索引),如果你用where id=多少多少,就會按照我們剛才上面說的哪種樹形結構來給你找尋數據了(當然不僅僅有這種樹形結構的數據結構類型),能夠快速的幫你定位到數據塊。這種聚集索引的特點是它會以id字段作為依據,去建立樹形結構,但是葉子節點存的是你表中的一條完整記錄,一條完整的數據。記住這一點昂,一會將輔助索引的時候,和這個內容有關系,會講到一個回表的概念。
在數據庫中,B+樹的高度一般都在2~4層,這也就是說查找某一個鍵值的行記錄時最多只需要2到4次IO,這倒不錯。因為當前一般的機械硬盤每秒至少可以做100次IO,2~4次的IO意味着查詢時間只需要0.02~0.04秒。
數據庫中的B+樹索引可以分為聚集索引(clustered index)和輔助索引(secondary index),
聚集索引與輔助索引相同的是:不管是聚集索引還是輔助索引,其內部都是B+樹的形式,即高度是平衡的,葉子結點存放着所有的數據。
聚集索引與輔助索引不同的是:葉子結點存放的是否是一整行的信息
1、聚集索引
#InnoDB存儲引擎表示索引組織表,即表中數據按照主鍵順序存放。而聚集索引(clustered index)就是按照每張表的主鍵構造一棵B+樹,同時葉子結點存放的即為整張表的行記錄數據,也將聚集索引的葉子結點稱為數據頁。聚集索引的這個特性決定了索引組織表中數據也是索引的一部分。同B+樹數據結構一樣,每個數據頁都通過一個雙向鏈表來進行鏈接。 #如果未定義主鍵,MySQL取第一個唯一索引(unique)而且只含非空列(NOT NULL)作為主鍵,InnoDB使用它作為聚簇索引。 #如果沒有這樣的列,InnoDB就自己產生一個這樣的ID值,它有六個字節,而且是隱藏的,使其作為聚簇索引。 #由於實際的數據頁只能按照一棵B+樹進行排序,因此每張表只能擁有一個聚集索引。在多少情況下,查詢優化器傾向於采用聚集索引。因為聚集索引能夠在B+樹索引的葉子節點上直接找到數據。此外由於定義了數據的邏輯順序,聚集索引能夠特別快地訪問針對范圍值得查詢。
聚集索引的好處之一:它對主鍵的排序查找和范圍查找速度非常快,葉子節點的數據就是用戶所要查詢的數據。如用戶需要查找一張表,查詢最后的10位用戶信息,由於B+樹索引是雙向鏈表,所以用戶可以快速找到最后一個數據頁,並取出10條記錄

#參照第六小結測試索引的准備階段來創建出表s1 mysql> desc s1; #最開始沒有主鍵 +--------+-------------+------+-----+---------+-------+ | Field | Type | Null | Key | Default | Extra | +--------+-------------+------+-----+---------+-------+ | id | int(11) | NO | | NULL | | | name | varchar(20) | YES | | NULL | | | gender | char(6) | YES | | NULL | | | email | varchar(50) | YES | | NULL | | +--------+-------------+------+-----+---------+-------+ 4 rows in set (0.00 sec) mysql> explain select * from s1 order by id desc limit 10; #Using filesort,需要二次排序 +----+-------------+-------+------------+------+---------------+------+---------+------+---------+----------+----------------+ | id | select_type | table | partitions | type | possible_keys | key | key_len | ref | rows | filtered | Extra | +----+-------------+-------+------------+------+---------------+------+---------+------+---------+----------+----------------+ | 1 | SIMPLE | s1 | NULL | ALL | NULL | NULL | NULL | NULL | 2633472 | 100.00 | Using filesort | +----+-------------+-------+------------+------+---------------+------+---------+------+---------+----------+----------------+ 1 row in set, 1 warning (0.11 sec) mysql> alter table s1 add primary key(id); #添加主鍵 Query OK, 0 rows affected (13.37 sec) Records: 0 Duplicates: 0 Warnings: 0 mysql> explain select * from s1 order by id desc limit 10; #基於主鍵的聚集索引在創建完畢后就已經完成了排序,無需二次排序 +----+-------------+-------+------------+-------+---------------+---------+---------+------+------+----------+-------+ | id | select_type | table | partitions | type | possible_keys | key | key_len | ref | rows | filtered | Extra | +----+-------------+-------+------------+-------+---------------+---------+---------+------+------+----------+-------+ | 1 | SIMPLE | s1 | NULL | index | NULL | PRIMARY | 4 | NULL | 10 | 100.00 | NULL | +----+-------------+-------+------------+-------+---------------+---------+---------+------+------+----------+-------+ 1 row in set, 1 warning (0.04 sec)
聚集索引的好處之二:范圍查詢(range query),即如果要查找主鍵某一范圍內的數據,通過葉子節點的上層中間節點就可以得到頁的范圍,之后直接讀取數據頁即可

mysql> alter table s1 drop primary key; Query OK, 2699998 rows affected (24.23 sec) Records: 2699998 Duplicates: 0 Warnings: 0 mysql> desc s1; +--------+-------------+------+-----+---------+-------+ | Field | Type | Null | Key | Default | Extra | +--------+-------------+------+-----+---------+-------+ | id | int(11) | NO | | NULL | | | name | varchar(20) | YES | | NULL | | | gender | char(6) | YES | | NULL | | | email | varchar(50) | YES | | NULL | | +--------+-------------+------+-----+---------+-------+ 4 rows in set (0.12 sec) mysql> explain select * from s1 where id > 1 and id < 1000000; #沒有聚集索引,預估需要檢索的rows數如下,explain就是預估一下你的sql的執行效率 +----+-------------+-------+------------+------+---------------+------+---------+------+---------+----------+-------------+ | id | select_type | table | partitions | type | possible_keys | key | key_len | ref | rows | filtered | Extra | +----+-------------+-------+------------+------+---------------+------+---------+------+---------+----------+-------------+ | 1 | SIMPLE | s1 | NULL | ALL | NULL | NULL | NULL | NULL | 2690100 | 11.11 | Using where | +----+-------------+-------+------------+------+---------------+------+---------+------+---------+----------+-------------+ 1 row in set, 1 warning (0.00 sec) mysql> alter table s1 add primary key(id); Query OK, 0 rows affected (16.25 sec) Records: 0 Duplicates: 0 Warnings: 0 mysql> explain select * from s1 where id > 1 and id < 1000000; #有聚集索引,預估需要檢索的rows數如下 +----+-------------+-------+------------+-------+---------------+---------+---------+------+---------+----------+-------------+ | id | select_type | table | partitions | type | possible_keys | key | key_len | ref | rows | filtered | Extra | +----+-------------+-------+------------+-------+---------------+---------+---------+------+---------+----------+-------------+ | 1 | SIMPLE | s1 | NULL | range | PRIMARY | PRIMARY | 4 | NULL | 1343355 | 100.00 | Using where | +----+-------------+-------+------------+-------+---------------+---------+---------+------+---------+----------+-------------+ 1 row in set, 1 warning (0.09 sec)
2、輔助索引
就是我們在查詢的時候,where后面需要寫id之外的其他字段名稱來進行查詢,比如說是where name=xx,沒法用到主鍵索引的效率,怎么辦,就需要我們添加輔助索引了,給name添加一個輔助索引。
表中除了聚集索引外其他索引都是輔助索引(Secondary Index,也稱為非聚集索引)(unique key啊、index key啊),與聚集索引的區別是:輔助索引的葉子節點不包含行記錄的全部數據。
葉子節點存放的是對應的那條數據的主鍵字段的值,除了包含鍵值以外,每個葉子節點中的索引行中還包含一個書簽(bookmark),其實這個書簽你可以理解為是一個{'name字段',name的值,主鍵id值}的這么一個數據。該書簽用來告訴InnoDB存儲引擎去哪里可以找到與索引相對應的行數據。如果我們select 后面要的是name,我們直接就可以在輔助索引的葉子節點找到對應的name值,比如:select name from tb1 where name='xx';這個xx值你直接就在輔助索引的葉子節點就能找到,這種我們也可以稱為覆蓋索引。如果你select后面的字段不是name,例如:select age from tb1 where name='xx';也就是說,我通過輔助索引的葉子節點不能直接拿到age的值,需要通過輔助索引的葉子節點中保存的主鍵id的值再去通過聚集索引來找到完整的一條記錄,然后從這個記錄里面拿出age的值,這種操作有時候也成為回表操作,就是從頭再回去查一遍,這種的查詢效率也很高,但是比覆蓋索引低一些,再說一下昂,再輔助索引的葉子節點就能找到你想找的數據可稱為覆蓋索引。再看看下面的解釋:
由於InnoDB存儲引擎是索引組織表,因此InnoDB存儲引擎的輔助索引的書簽就是相應行數據的聚集索引鍵或者稱為主鍵的值。如下圖
輔助索引的存在並不影響數據在聚集索引中的組織,因此每張表上可以有多個輔助索引,但只能有一個聚集索引。當通過輔助索引來尋找數據時,InnoDB存儲引擎會遍歷輔助索引並通過葉子級別的指針獲得只想主鍵索引的主鍵,然后再通過主鍵索引來找到一個完整的行記錄,這種查找的效率也是非常高。
舉例來說,如果在一棵高度為3的輔助索引樹種查找數據,那需要對這個輔助索引樹遍歷3次找到指定主鍵,如果聚集索引樹的高度同樣為3,那么還需要對聚集索引樹進行3次查找,最終找到一個完整的行數據所在的頁,因此一共需要6次邏輯IO訪問才能得到最終的一個數據頁。
概念基本就說完了,下面我們來點實際操作吧,看下面的內容~~~~
五 MySQL索引管理
一 功能
#1. 索引的功能就是加速查找 #2. mysql中的primary key,unique,聯合唯一也都是索引,這些索引除了加速查找以外,還有約束的功能
二 MySQL常用的索引
普通索引INDEX:加速查找 唯一索引: -主鍵索引PRIMARY KEY:加速查找+約束(不為空、不能重復) -唯一索引UNIQUE:加速查找+約束(不能重復) 聯合索引: -PRIMARY KEY(id,name):聯合主鍵索引 -UNIQUE(id,name):聯合唯一索引 -INDEX(id,name):聯合普通索引
索引操作:
添加主鍵索引:
創建的時候添加: 添加索引的時候要注意,給字段里面數據大小比較小的字段添加,給字段里面的數據區分度高的字段添加.
聚集索引的添加方式
創建的是添加
Create table t1(
Id int primary key,
)
Create table t1(
Id int,
Primary key(id)
)
表創建完了之后添加
Alter table 表名 add primary key(id)
刪除主鍵索引:
Alter table 表名 drop primary key;
唯一索引:
Create table t1(
Id int unique,
)
Create table t1(
Id int,
Unique key uni_name (id)
)
表創建好之后添加唯一索引:
alter table s1 add unique key u_name(id);
刪除:
Alter table s1 drop index u_name;
普通索引:
創建:
Create table t1(
Id int,
Index index_name(id)
)
Alter table s1 add index index_name(id);
Create index index_name on s1(id);
刪除:
Alter table s1 drop index u_name;
DROP INDEX 索引名 ON 表名字;
各種索引的應用場景:
舉個例子來說,比如你在為某商場做一個會員卡的系統。 這個系統有一個會員表 有下列字段: 會員編號 INT 會員姓名 VARCHAR(10) 會員身份證號碼 VARCHAR(18) 會員電話 VARCHAR(10) 會員住址 VARCHAR(50) 會員備注信息 TEXT 那么這個 會員編號,作為主鍵,使用 PRIMARY 會員姓名 如果要建索引的話,那么就是普通的 INDEX 會員身份證號碼 如果要建索引的話,那么可以選擇 UNIQUE (唯一的,不允許重復) #除此之外還有全文索引,即FULLTEXT 會員備注信息 , 如果需要建索引的話,可以選擇全文搜索。 用於搜索很長一篇文章的時候,效果最好。 用在比較短的文本,如果就一兩行字的,普通的 INDEX 也可以。 但其實對於全文搜索,我們並不會使用MySQL自帶的該索引,而是會選擇第三方軟件如Sphinx,專門來做全文搜索。 #其他的如空間索引SPATIAL,了解即可,幾乎不用
三 索引的兩大類型hash與btree
#我們可以在創建上述索引的時候,為其指定索引類型,分兩類 hash類型的索引:查詢單條快,范圍查詢慢 btree類型的索引:b+樹,層數越多,數據量指數級增長(我們就用它,因為innodb默認支持它) #不同的存儲引擎支持的索引類型也不一樣 InnoDB 支持事務,支持行級別鎖定,支持 B-tree、Full-text 等索引,不支持 Hash 索引; MyISAM 不支持事務,支持表級別鎖定,支持 B-tree、Full-text 等索引,不支持 Hash 索引; Memory 不支持事務,支持表級別鎖定,支持 B-tree、Hash 等索引,不支持 Full-text 索引; NDB 支持事務,支持行級別鎖定,支持 Hash 索引,不支持 B-tree、Full-text 等索引; Archive 不支持事務,支持表級別鎖定,不支持 B-tree、Hash、Full-text 等索引;
四 創建/刪除索引的語法
#方法一:創建表時 CREATE TABLE 表名 ( 字段名1 數據類型 [完整性約束條件…], 字段名2 數據類型 [完整性約束條件…], [UNIQUE | FULLTEXT | SPATIAL ] INDEX | KEY [索引名] (字段名[(長度)] [ASC |DESC]) ); #方法二:CREATE在已存在的表上創建索引 CREATE [UNIQUE | FULLTEXT | SPATIAL ] INDEX 索引名 ON 表名 (字段名[(長度)] [ASC |DESC]) ; #方法三:ALTER TABLE在已存在的表上創建索引 ALTER TABLE 表名 ADD [UNIQUE | FULLTEXT | SPATIAL ] INDEX 索引名 (字段名[(長度)] [ASC |DESC]) ; #刪除索引:DROP INDEX 索引名 ON 表名字;
看下面的示范:
#方式一 create table t1( id int, name char, age int, sex enum('male','female'), unique key uni_id(id), index ix_name(name) #index沒有key ); #方式二 create index ix_age on t1(age); #方式三 alter table t1 add index ix_sex(sex); #查看 mysql> show create table t1; | t1 | CREATE TABLE `t1` ( `id` int(11) DEFAULT NULL, `name` char(1) DEFAULT NULL, `age` int(11) DEFAULT NULL, `sex` enum('male','female') DEFAULT NULL, UNIQUE KEY `uni_id` (`id`), KEY `ix_name` (`name`), KEY `ix_age` (`age`), KEY `ix_sex` (`sex`) ) ENGINE=InnoDB DEFAULT CHARSET=latin1
六 測試索引
一 准備
#1. 准備表 create table s1( id int, name varchar(20), gender char(6), email varchar(50) ); #2. 創建存儲過程,實現批量插入記錄 delimiter $$ #聲明存儲過程的結束符號為$$ create procedure auto_insert1() BEGIN declare i int default 1; while(i<3000000)do insert into s1 values(i,'egon','male',concat('egon',i,'@oldboy')); set i=i+1; end while; END$$ #$$結束 delimiter ; #重新聲明分號為結束符號 #3. 查看存儲過程 show create procedure auto_insert1\G #4. 調用存儲過程 call auto_insert1();
二 在沒有索引的前提下測試查詢速度
#無索引:mysql根本就不知道到底是否存在id等於333333333的記錄,也不知道存在幾條id=333333333的記錄,只能把數據表從頭到尾掃描一遍,此時有多少個磁盤塊就需要進行多少IO操作,所以查詢速度很慢 mysql> select * from s1 where id=333333333; Empty set (0.33 sec)
三 在表中已經存在大量數據的前提下,為某個字段段建立索引,建立速度會很慢
或者用alter table s1 add primary key(id);加主鍵,建索引很慢的。
四 在索引建立完畢后,以該字段為查詢條件時,查詢速度提升明顯
PS:
1. mysql先去索引表里根據b+樹的搜索原理很快搜索到id等於333333333的記錄不存在,IO大大降低,因而速度明顯提升
2. 我們可以去mysql的data目錄下找到該表,可以看到占用的硬盤空間多了
3. 需要注意,如下圖
五 總結
#1. 一定是為搜索條件的字段創建索引,比如select * from s1 where id = 333;就需要為id加上索引 #2. 在表中已經有大量數據的情況下,建索引會很慢,且占用硬盤空間,建完后查詢速度加快 比如create index idx on s1(id);會掃描表中所有的數據,然后以id為數據項,創建索引結構,存放於硬盤的表中。 建完以后,再查詢就會很快了。 #3. 需要注意的是:innodb表的索引會存放於s1.ibd文件中,而myisam表的索引則會有單獨的索引文件table1.MYI MySAM索引文件和數據文件是分離的,索引文件僅保存數據記錄的地址。而在innodb中,表數據文件本身就是按照B+Tree(BTree即Balance True)組織的一個索引結構,這棵樹的葉節點data域保存了完整的數據記錄。這個索引的key是數據表的主鍵,因此innodb表數據文件本身就是主索引。 因為inndob的數據文件要按照主鍵聚集,所以innodb要求表必須要有主鍵(Myisam可以沒有),如果沒有顯式定義,則mysql系統會自動選擇一個可以唯一標識數據記錄的列作為主鍵,如果不存在這種列,則mysql會自動為innodb表生成一個隱含字段作為主鍵,這字段的長度為6個字節,類型為長整型.
你想一下,是不是全部加索引就一定好的呢,首先,我們加上索引,查詢時快了,但是寫入的時候就慢了,還記得嗎,每次插入新的記錄,你的整個索引結構都會跟着改,所以如果你亂加索引,你會發現,即便是你的網站沒有幾個人在注冊,或者說沒有幾個寫入數據的操作,你的磁盤IO會居高不下,磁盤在瘋狂的轉,因為你每插入一條數據,我們的索引都需要重新建,重建的索引要寫入硬盤里面的,還記得我們給那三百萬條數據建索引的時候的速度嗎?每次都要把所有的數據取出來,做好一個數據結構,然后再寫回硬盤,也就是要經歷很多的IO才能實現這個事兒,所以亂加索引的一個弊端就是,你很少的寫入都會導致你的磁盤IO非常的高,導致效率很差,所以我們要學一下怎么正確的加索引。
七 正確使用索引
一 索引未命中
並不是說我們創建了索引就一定會加快查詢速度,若想利用索引達到預想的提高查詢速度的效果,我們在添加索引時,必須遵循以下問題
1 范圍問題,或者說條件不明確,條件中出現這些符號或關鍵字:>、>=、<、<=、!= 、between...and...、like、
大於號、小於號
如果你寫where id >1 and id <1000000;你會發現,隨着你范圍的增大,速度會越來越慢,會成倍的體現出來。
不等於!=
between ...and...
like #測like的時候,你可以先把id的主鍵索引去掉,然后測一下like,然后加上index key,再測一下。就知道你忘了,看語句:create index email_index on s1(email) ,email_index是索引名、on、 s1是表名(字段名),你會發現建索引的時間也是很慢的,desc s1;查看一下索引是不是創建成功了,看那個key字段是不是有個mul,有這個說明創建成功了。
like=后面如果沒有那些特殊字符,通配符之類的,就跟等於是一個效果,精確匹配。
#使用like的時候,通配符寫在最前面,也是需要全匹配一遍,然后在比較字符串的第二個字符,最左匹配的規則,還記得嗎。
2 盡量選擇區分度高的列作為索引,區分度的公式是count(distinct col)/count(*),表示字段不重復的比例,比例越大我們掃描的記錄數越少,唯一鍵的區分度是1,而一些狀態、性別字段可能在大數據面前區分度就是0,那可能有人會問,這個比例有什么經驗值嗎?使用場景不同,這個值也很難確定,一般需要join的字段我們都要求是0.1以上,即平均1條掃描10條記錄
#先把表中的索引都刪除,讓我們專心研究區分度的問題 mysql> desc s1; +--------+-------------+------+-----+---------+-------+ | Field | Type | Null | Key | Default | Extra | +--------+-------------+------+-----+---------+-------+ | id | int(11) | YES | MUL | NULL | | | name | varchar(20) | YES | | NULL | | | gender | char(5) | YES | | NULL | | | email | varchar(50) | YES | MUL | NULL | | +--------+-------------+------+-----+---------+-------+ 4 rows in set (0.00 sec) mysql> drop index a on s1; Query OK, 0 rows affected (0.20 sec) Records: 0 Duplicates: 0 Warnings: 0 mysql> drop index d on s1; Query OK, 0 rows affected (0.18 sec) Records: 0 Duplicates: 0 Warnings: 0 mysql> desc s1; +--------+-------------+------+-----+---------+-------+ | Field | Type | Null | Key | Default | Extra | +--------+-------------+------+-----+---------+-------+ | id | int(11) | YES | | NULL | | | name | varchar(20) | YES | | NULL | | | gender | char(5) | YES | | NULL | | | email | varchar(50) | YES | | NULL | | +--------+-------------+------+-----+---------+-------+ 4 rows in set (0.00 sec)
我們編寫存儲過程為表s1批量添加記錄,name字段的值均為egon,也就是說name這個字段的區分度很低(gender字段也是一樣的,我們稍后再搭理它) 回憶b+樹的結構,查詢的速度與樹的高度成反比,要想將樹的高低控制的很低,需要保證:在某一層內數據項均是按照從左到右,從小到大的順序依次排開,即左1<左2<左3<... 而對於區分度低的字段,無法找到大小關系,因為值都是相等的,毫無疑問,還想要用b+樹存放這些等值的數據,只能增加樹的高度,字段的區分度越低,則樹的高度越高。極端的情況,索引字段的值都一樣,那么b+樹幾乎成了一根棍。本例中就是這種極端的情況,name字段所有的值均為'egon' #現在我們得出一個結論:為區分度低的字段建立索引,索引樹的高度會很高,然而這具體會帶來什么影響呢??? #1:如果條件是name='xxxx',那么肯定是可以第一時間判斷出'xxxx'是不在索引樹中的(因為樹中所有的值均為'egon’,看第一條的時候就知道你不在索引樹里面了),所以查詢速度很快 #2:如果條件正好是name='egon',查詢時,我們永遠無法從樹的某個位置得到一個明確的范圍,只能往下找,往下找,往下找。。。這與全表掃描的IO次數沒有多大區別,所以速度很慢
3 =和in可以亂序,比如a = 1 and b = 2 and c = 3 建立(a,b,c)索引可以任意順序,mysql的查詢優化器會幫你優化成索引可以識別的形式
4 索引列不能參與計算,保持列“干凈”,比如from_unixtime(create_time) = ’2014-05-29’就不能使用到索引,原因很簡單,b+樹中存的都是數據表中的字段值,但進行檢索時,需要把所有元素都應用函數才能比較,顯然成本太大。所以語句應該寫成create_time = unix_timestamp(’2014-05-29’)
把上面的條件寫成 where id = 3000/3;你會發現速度變得很快,因為等於號后面的數字,是在比較之前就計算出來了,不需要每次都計算一次每次都計算一次了,跟直接等於一個常數是一樣的,所以很快。結論是不要讓你的索引字段參與到計算中。
5 and/or
#1、and與or的邏輯 條件1 and 條件2:所有條件都成立才算成立,但凡要有一個條件不成立則最終結果不成立 條件1 or 條件2:只要有一個條件成立則最終結果就成立 #2、and的工作原理 條件: a = 10 and b = 'xxx' and c > 3 and d =4 索引: 制作聯合索引(d,a,b,c) 工作原理: #如果是你找的話,你會怎么找,是不是從左到右一個一個的比較啊,首先你不能確定a這個字段是不是有索引,即便是有索引,也不一定能確保命中索引了(所謂命中索引,就是應用上了索引),mysql不會這么笨的,看下面mysql是怎么找的: 索引的本質原理就是先不斷的把查找范圍縮小下來,然后再進行處理,對於連續多個and:mysql會按照聯合索引,從左到右的順序找一個區分度高的索引字段(這樣便可以快速鎖定很小的范圍),加速查詢,即按照d—>a->b->c的順序 #3、or的工作原理 條件: a = 10 or b = 'xxx' or c > 3 or d =4 索引: 制作聯合索引(d,a,b,c) 工作原理: 只要一個匹配成功就行,所以對於連續多個or:mysql會按照條件的順序,從左到右依次判斷,即a->b->c->d
索引要加在數據區分度高的字段上
在左邊條件成立但是索引字段的區分度低的情況下(name與gender均屬於這種情況),會依次往右找到一個區分度高的索引字段,加速查詢
經過分析,在條件為name='egon' and gender='male' and id>333 and email='xxx'的情況下,我們完全沒必要為前三個條件的字段加索引,因為只能用上email字段的索引,前三個字段的索引反而會降低我們的查詢效率
大家還有興趣的話,可以去研究一下mysql的慢sql查詢的日志,學一學如果篩選慢sql等操作和配置等,優化慢sql的方式是可以修改你查詢語句的邏輯,還有更有效的方式就是加索引或者聯合索引。
6 最左前綴匹配原則(詳見第八小節),非常重要的原則,對於組合索引mysql會一直向右匹配直到遇到范圍查詢(>、<、between、like)就停止匹配(指的是范圍大了,有索引速度也慢),比如a = 1 and b = 2 and c > 3 and d = 4 如果建立(a,b,c,d)順序的索引,d是用不到索引的,如果建立(a,b,d,c)的索引則都可以用到,a,b,d的順序可以任意調整。
7 其他情況
- 使用函數 select * from tb1 where reverse(email) = 'egon'; - 類型不一致 如果列是字符串類型,傳入條件是必須用引號引起來,不然... select * from tb1 where email = 999; #排序條件為索引,則select字段必須也是索引字段,否則無法命中 - order by select name from s1 order by email desc; 當根據索引排序時候,select查詢的字段如果不是索引,則速度仍然很慢 select email from s1 order by email desc; 特別的:如果對主鍵排序,則還是速度很快: select * from tb1 order by nid desc; - 組合索引最左前綴 如果組合索引為:(name,email) name and email -- 命中索引 name -- 命中索引 email -- 未命中索引 - count(1)或count(列)代替count(*)在mysql中沒有差別了 - create index xxxx on tb(title(19)) #text類型,必須制定長度
二 其他注意事項
- 避免使用select * - count(1)或count(列) 代替 count(*) - 創建表時盡量時 char 代替 varchar - 表的字段順序固定長度的字段優先 - 組合索引代替多個單列索引(經常使用多個條件查詢時) - 盡量使用短索引 - 使用連接(JOIN)來代替子查詢(Sub-Queries) - 連表時注意條件類型需一致 - 索引散列值(重復少)不適合建索引,例:性別不適合
八 聯合索引與覆蓋索引
一 聯合索引
聯合索引時指對表上的多個列合起來做一個索引,省的你查詢的時候,where后面的條件字段一直再變,你就想給每個字段加索引的尷尬問題。聯合索引的創建方法與單個索引的創建方法一樣,不同之處在僅在於有多個索引列,如下
mysql> create table t( -> a int, -> b int, -> primary key(a), -> key idx_a_b(a,b) -> ); Query OK, 0 rows affected (0.11 sec)
那么何時需要使用聯合索引呢?在討論這個問題之前,先來看一下聯合索引內部的結果。從本質上來說,聯合索引就是一棵B+樹,不同的是聯合索引的鍵值得數量不是1,而是>=2。接着來討論兩個整型列組成的聯合索引,假定兩個鍵值得名稱分別為a、b如圖
可以看到這與我們之前看到的單個鍵的B+樹並沒有什么不同,鍵值都是排序的,通過葉子結點可以邏輯上順序地讀出所有數據,就上面的例子來說,即(1,1),(1,2),(2,1),(2,4),(3,1),(3,2),數據按(a,b)的順序進行了存放。
因此,對於查詢select * from table where a=xxx and b=xxx, 顯然是可以使用(a,b) 這個聯合索引的,對於單個列a的查詢select * from table where a=xxx,也是可以使用(a,b)這個索引的。
但對於b列的查詢select * from table where b=xxx,則不可以使用(a,b) 索引,其實你不難發現原因,葉子節點上b的值為1、2、1、4、1、2顯然不是排序的,因此對於b列的查詢使用不到(a,b) 索引
注意建立聯合索引的一個原則:索引是有個最左匹配的原則的,所以建聯合索引的時候,將區分度高的放在最左邊,依次排下來,范圍查詢的條件盡可能的往后邊放。
聯合索引的第二個好處是在第一個鍵相同的情況下,已經對第二個鍵進行了排序處理,例如在很多情況下應用程序都需要查詢某個用戶的購物情況,並按照時間進行排序,最后取出最近三次的購買記錄,這時使用聯合索引可以幫我們避免多一次的排序操作,因為索引本身在葉子節點已經排序了,如下
#===========准備表============== create table buy_log( userid int unsigned not null, buy_date date ); insert into buy_log values (1,'2009-01-01'), (2,'2009-01-01'), (3,'2009-01-01'), (1,'2009-02-01'), (3,'2009-02-01'), (1,'2009-03-01'), (1,'2009-04-01'); alter table buy_log add key(userid); alter table buy_log add key(userid,buy_date); #===========驗證============== mysql> show create table buy_log; | buy_log | CREATE TABLE `buy_log` ( `userid` int(10) unsigned NOT NULL, `buy_date` date DEFAULT NULL, KEY `userid` (`userid`), KEY `userid_2` (`userid`,`buy_date`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8 | #可以看到possible_keys在這里有兩個索引可以用,分別是單個索引userid與聯合索引userid_2,但是優化器最終選擇了使用的key是userid因為該索引的葉子節點包含單個鍵值,所以理論上一個頁能存放的記錄應該更多 mysql> explain select * from buy_log where userid=2; +----+-------------+---------+------+-----------------+--------+---------+-------+------+-------+ | id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra | +----+-------------+---------+------+-----------------+--------+---------+-------+------+-------+ | 1 | SIMPLE | buy_log | ref | userid,userid_2 | userid | 4 | const | 1 | | +----+-------------+---------+------+-----------------+--------+---------+-------+------+-------+ 1 row in set (0.00 sec) #接着假定要取出userid為1的最近3次的購買記錄,用的就是聯合索引userid_2了,因為在這個索引中,在userid=1的情況下,buy_date都已經排序好了 mysql> explain select * from buy_log where userid=1 order by buy_date desc limit 3; +----+-------------+---------+------+-----------------+----------+---------+-------+------+--------------------------+ | id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra | +----+-------------+---------+------+-----------------+----------+---------+-------+------+--------------------------+ | 1 | SIMPLE | buy_log | ref | userid,userid_2 | userid_2 | 4 | const | 4 | Using where; Using index | +----+-------------+---------+------+-----------------+----------+---------+-------+------+--------------------------+ 1 row in set (0.00 sec) #ps:如果extra的排序顯示是Using filesort,則意味着在查出數據后需要二次排序(如下查詢語句,沒有先用where userid=3先定位范圍,於是即便命中索引也沒用,需要二次排序) mysql> explain select * from buy_log order by buy_date desc limit 3; +----+-------------+---------+-------+---------------+----------+---------+------+------+-----------------------------+ | id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra | +----+-------------+---------+-------+---------------+----------+---------+------+------+-----------------------------+ | 1 | SIMPLE | buy_log | index | NULL | userid_2 | 8 | NULL | 7 | Using index; Using filesort | +----+-------------+---------+-------+---------------+----------+---------+------+------+-----------------------------+ #對於聯合索引(a,b),下述語句可以直接使用該索引,無需二次排序 select ... from table where a=xxx order by b; #然后對於聯合索引(a,b,c)來首,下列語句同樣可以直接通過索引得到結果 select ... from table where a=xxx order by b; select ... from table where a=xxx and b=xxx order by c; #但是對於聯合索引(a,b,c),下列語句不能通過索引直接得到結果,還需要自己執行一次filesort操作,因為索引(a,c)並未排序 select ... from table where a=xxx order by c;
二 覆蓋索引
InnoDB存儲引擎支持覆蓋索引(covering index,或稱索引覆蓋),即從輔助索引中就可以得到查詢記錄,而不需要查詢聚集索引中的記錄。
使用覆蓋索引的一個好處是:輔助索引不包含整行記錄的所有信息,故其大小要遠小於聚集索引,因此可以減少大量的IO操作
注意:覆蓋索引技術最早是在InnoDB Plugin中完成並實現,這意味着對於InnoDB版本小於1.0的,或者MySQL數據庫版本為5.0以下的,InnoDB存儲引擎不支持覆蓋索引特性
對於InnoDB存儲引擎的輔助索引而言,由於其包含了主鍵信息,因此其葉子節點存放的數據為(primary key1,priamey key2,...,key1,key2,...)。例如
select age from s1 where id=123 and name = 'egon'; #id字段有索引,但是name字段沒有索引,該sql命中了索引,但未覆蓋,需要去聚集索引中再查找詳細信息。 最牛逼的情況是,索引字段覆蓋了所有,那全程通過索引來加速查詢以及獲取結果就ok了 mysql> desc s1; +--------+-------------+------+-----+---------+-------+ | Field | Type | Null | Key | Default | Extra | +--------+-------------+------+-----+---------+-------+ | id | int(11) | NO | | NULL | | | name | varchar(20) | YES | | NULL | | | gender | char(6) | YES | | NULL | | | email | varchar(50) | YES | | NULL | | +--------+-------------+------+-----+---------+-------+ 4 rows in set (0.21 sec) mysql> explain select name from s1 where id=1000; #沒有任何索引 +----+-------------+-------+------------+------+---------------+------+---------+------+---------+----------+-------------+ | id | select_type | table | partitions | type | possible_keys | key | key_len | ref | rows | filtered | Extra | +----+-------------+-------+------------+------+---------------+------+---------+------+---------+----------+-------------+ | 1 | SIMPLE | s1 | NULL | ALL | NULL | NULL | NULL | NULL | 2688336 | 10.00 | Using where | +----+-------------+-------+------------+------+---------------+------+---------+------+---------+----------+-------------+ 1 row in set, 1 warning (0.00 sec) mysql> create index idx_id on s1(id); #創建索引 Query OK, 0 rows affected (4.16 sec) Records: 0 Duplicates: 0 Warnings: 0 mysql> explain select name from s1 where id=1000; #命中輔助索引,但是未覆蓋索引,還需要從聚集索引中查找name +----+-------------+-------+------------+------+---------------+--------+---------+-------+------+----------+-------+ | id | select_type | table | partitions | type | possible_keys | key | key_len | ref | rows | filtered | Extra | +----+-------------+-------+------------+------+---------------+--------+---------+-------+------+----------+-------+ | 1 | SIMPLE | s1 | NULL | ref | idx_id | idx_id | 4 | const | 1 | 100.00 | NULL | +----+-------------+-------+------------+------+---------------+--------+---------+-------+------+----------+-------+ 1 row in set, 1 warning (0.08 sec) mysql> explain select id from s1 where id=1000; #在輔助索引中就找到了全部信息,Using index代表覆蓋索引 +----+-------------+-------+------------+------+---------------+--------+---------+-------+------+----------+-------------+ | id | select_type | table | partitions | type | possible_keys | key | key_len | ref | rows | filtered | Extra | +----+-------------+-------+------------+------+---------------+--------+---------+-------+------+----------+-------------+ | 1 | SIMPLE | s1 | NULL | ref | idx_id | idx_id | 4 | const | 1 | 100.00 | Using index | +----+-------------+-------+------------+------+---------------+--------+---------+-------+------+----------+-------------+ 1 row in set, 1 warning (0.03 sec)
覆蓋索引的另外一個好處是對某些統計問題而言的。基於上一小結創建的表buy_log,查詢計划如下
mysql> explain select count(*) from buy_log; +----+-------------+---------+-------+---------------+--------+---------+------+------+-------------+ | id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra | +----+-------------+---------+-------+---------------+--------+---------+------+------+-------------+ | 1 | SIMPLE | buy_log | index | NULL | userid | 4 | NULL | 7 | Using index | +----+-------------+---------+-------+---------------+--------+---------+------+------+-------------+ 1 row in set (0.00 sec)
innodb存儲引擎並不會選擇通過查詢聚集索引來進行統計。由於buy_log表有輔助索引,而輔助索引遠小於聚集索引,選擇輔助索引可以減少IO操作,故優化器的選擇如上key為userid輔助索引
對於(a,b)形式的聯合索引,一般是不可以選擇b中所謂的查詢條件。但如果是統計操作,並且是覆蓋索引,則優化器還是會選擇使用該索引,如下
#聯合索引userid_2(userid,buy_date),一般情況,我們按照buy_date是無法使用該索引的,但特殊情況下:查詢語句是統計操作,且是覆蓋索引,則按照buy_date當做查詢條件時,也可以使用該聯合索引 mysql> explain select count(*) from buy_log where buy_date >= '2011-01-01' and buy_date < '2011-02-01'; +----+-------------+---------+-------+---------------+----------+---------+------+------+--------------------------+ | id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra | +----+-------------+---------+-------+---------------+----------+---------+------+------+--------------------------+ | 1 | SIMPLE | buy_log | index | NULL | userid_2 | 8 | NULL | 7 | Using where; Using index | +----+-------------+---------+-------+---------------+----------+---------+------+------+--------------------------+ 1 row in set (0.00 sec)
九 查詢優化神器-explain
關於explain命令相信大家並不陌生,具體用法和字段含義可以參考官網explain-output,這里需要強調rows是核心指標,絕大部分rows小的語句執行一定很快(有例外,下面會講到)。所以優化語句基本上都是在優化rows。
關於explain,如果大家有興趣,可以看看這篇博客,他總結的挺好的:http://www.cnblogs.com/yycc/p/7338894.html
執行計划:讓mysql預估執行操作(一般正確) all < index < range < index_merge < ref_or_null < ref < eq_ref < system/const id,email 慢: select * from userinfo3 where name='alex' explain select * from userinfo3 where name='alex' type: ALL(全表掃描) select * from userinfo3 limit 1; 快: select * from userinfo3 where email='alex' type: const(走索引)
http://blog.itpub.net/29773961/viewspace-1767044/
十 慢查詢優化的基本步驟
0.先運行看看是否真的很慢,注意設置SQL_NO_CACHE 1.where條件單表查,鎖定最小返回記錄表。這句話的意思是把查詢語句的where都應用到表中返回的記錄數最小的表開始查起,單表每個字段分別查詢,看哪個字段的區分度最高 2.explain查看執行計划,是否與1預期一致(從鎖定記錄較少的表開始查詢) 3.order by limit 形式的sql語句讓排序的表優先查 4.了解業務方使用場景 5.加索引時參照建索引的幾大原則 6.觀察結果,不符合預期繼續從0分析
十一 慢日志管理
慢日志 - 執行時間 > 10 - 未命中索引 - 日志文件路徑 配置: - 內存 show variables like '%query%'; show variables like '%queries%'; set global 變量名 = 值 - 配置文件 mysqld --defaults-file='E:\wupeiqi\mysql-5.7.16-winx64\mysql-5.7.16-winx64\my-default.ini' my.conf內容: slow_query_log = ON slow_query_log_file = D:/.... 注意:修改配置文件之后,需要重啟服務
MySQL日志管理 ======================================================== 錯誤日志: 記錄 MySQL 服務器啟動、關閉及運行錯誤等信息 二進制日志: 又稱binlog日志,以二進制文件的方式記錄數據庫中除 SELECT 以外的操作 查詢日志: 記錄查詢的信息 慢查詢日志: 記錄執行時間超過指定時間的操作 中繼日志: 備庫將主庫的二進制日志復制到自己的中繼日志中,從而在本地進行重放 通用日志: 審計哪個賬號、在哪個時段、做了哪些事件 事務日志或稱redo日志: 記錄Innodb事務相關的如事務執行時間、檢查點等 ======================================================== 一、bin-log 1. 啟用 # vim /etc/my.cnf [mysqld] log-bin[=dir\[filename]] # service mysqld restart 2. 暫停 //僅當前會話 SET SQL_LOG_BIN=0; SET SQL_LOG_BIN=1; 3. 查看 查看全部: # mysqlbinlog mysql.000002 按時間: # mysqlbinlog mysql.000002 --start-datetime="2012-12-05 10:02:56" # mysqlbinlog mysql.000002 --stop-datetime="2012-12-05 11:02:54" # mysqlbinlog mysql.000002 --start-datetime="2012-12-05 10:02:56" --stop-datetime="2012-12-05 11:02:54" 按字節數: # mysqlbinlog mysql.000002 --start-position=260 # mysqlbinlog mysql.000002 --stop-position=260 # mysqlbinlog mysql.000002 --start-position=260 --stop-position=930 4. 截斷bin-log(產生新的bin-log文件) a. 重啟mysql服務器 b. # mysql -uroot -p123 -e 'flush logs' 5. 刪除bin-log文件 # mysql -uroot -p123 -e 'reset master' 二、查詢日志 啟用通用查詢日志 # vim /etc/my.cnf [mysqld] log[=dir\[filename]] # service mysqld restart 三、慢查詢日志 啟用慢查詢日志 # vim /etc/my.cnf [mysqld] log-slow-queries[=dir\[filename]] long_query_time=n # service mysqld restart MySQL 5.6: slow-query-log=1 slow-query-log-file=slow.log long_query_time=3 查看慢查詢日志 測試:BENCHMARK(count,expr) SELECT BENCHMARK(50000000,2*3);