MySQL索引原理

目錄

• 一、初識索引
  • 1.1 為什么要有索引？
  • 1.2 什么是索引？
  • 1.3 你是否對索引存在誤解？
• 二、索引的原理
  • 2.1 索引原理
  • 2.2 磁盤IO與預讀
• 三、索引的數據結構
• 四、MySQL索引管理
  • 4.1 功能
  • 4.2 MySQL常用的索引
  • 4.3 各個索引應用場景
  • 4.4 索引的兩大類型hash與btree
  • 4.5 創建/刪除索引的語法
  • 4.6 示例
• 五、測試索引
  • 5.1 數據准備
  • 5.2 小結
• 六、正確使用索引
  • 6.1 索引未命中
  • 6.2 其他注意事項
• 七、聯合索引和覆蓋索引
  • 7.1 聯合索引
  • 7.2 覆蓋索引
  • 7.3 合並索引
• 八、查詢優化神器-explain
• 九、慢查詢優化的基本步驟
• 十、慢日志管理

一、初識索引

1.1 為什么要有索引？

一般的應用系統，讀寫比例在10:1左右，而且插入操作和一般的更新操作很少出現性能問題，在生產環境中，我們遇到最多的，也是最容易出問題的，還是一些復雜的查詢操作，因此對查詢語句的優化顯然是重中之重。說起加速查詢，就不得不提到索引了。

1.2 什么是索引？

索引在MySQL中也叫是一種“鍵”，是存儲引擎用於快速找到記錄的一種數據結構。索引對於良好的性能非常關鍵，尤其是當表中的數據量越來越大時，索引對於性能的影響愈發重要。

索引優化應該是對查詢性能優化最有效的手段了。索引能夠輕易將查詢性能提高好幾個數量級。

索引相當於字典的音序表，如果要查某個字，如果不使用音序表，則需要從幾百頁中逐頁去查。

1.3 你是否對索引存在誤解？

索引是應用程序設計和開發的一個重要方面。若索引太多，應用程序的性能可能會受到影響。而索引太少，對查詢性能又會產生影響，要找到一個平衡點，這對應用程序的性能至關重要。一些開發人員總是在事后才想起添加索引----我一直認為，這源於一種錯誤的開發模式。如果知道數據的使用，從一開始就應該在需要處添加索引。開發人員往往對數據庫的使用停留在應用的層面，比如編寫SQL語句、存儲過程之類，他們甚至可能不知道索引的存在，或認為事后讓相關DBA加上即可。DBA往往不夠了解業務的數據流，而添加索引需要通過監控大量的SQL語句進而從中找到問題，這個步驟所需的時間肯定是遠大於初始添加索引所需的時間，並且可能會遺漏一部分的索引。當然索引也並不是越多越好，我曾經遇到過這樣一個問題：某台MySQL服務器iostat顯示磁盤使用率一直處於100%，經過分析后發現是由於開發人員添加了太多的索引，在刪除一些不必要的索引之后，磁盤使用率馬上下降為20%。可見索引的添加也是非常有技術含量的。

二、索引的原理

2.1 索引原理

索引的目的在於提高查詢效率，與我們查閱圖書所用的目錄是一個道理：先定位到章，然后定位到該章下的一個小節，然后找到頁數。相似的例子還有：查字典，查火車車次，飛機航班等

本質都是：通過不斷地縮小想要獲取數據的范圍來篩選出最終想要的結果，同時把隨機的事件變成順序的事件，也就是說，有了這種索引機制，我們可以總是用同一種查找方式來鎖定數據。

數據庫也是一樣，但顯然要復雜的多，因為不僅面臨着等值查詢，還有范圍查詢(>、<、between、in)、模糊查詢(like)、並集查詢(or)等等。數據庫應該選擇怎么樣的方式來應對所有的問題呢？我們回想字典的例子，能不能把數據分成段，然后分段查詢呢？最簡單的如果1000條數據，1到100分成第一段，101到200分成第二段，201到300分成第三段......這樣查第250條數據，只要找第三段就可以了，一下子去除了90%的無效數據。但如果是1千萬的記錄呢，分成幾段比較好？稍有算法基礎的同學會想到搜索樹，其平均復雜度是lgN，具有不錯的查詢性能。但這里我們忽略了一個關鍵的問題，復雜度模型是基於每次相同的操作成本來考慮的。而數據庫實現比較復雜，一方面數據是保存在磁盤上的，另外一方面為了提高性能，每次又可以把部分數據讀入內存來計算，因為我們知道訪問磁盤的成本大概是訪問內存的十萬倍左右，所以簡單的搜索樹難以滿足復雜的應用場景。

2.2 磁盤IO與預讀

前面提到了訪問磁盤，那么這里先簡單介紹一下磁盤IO和預讀，磁盤讀取數據靠的是機械運動，每次讀取數據花費的時間可以分為尋道時間、旋轉延遲、傳輸時間三個部分，尋道時間指的是磁臂移動到指定磁道所需要的時間，主流磁盤一般在5ms以下；旋轉延遲就是我們經常聽說的磁盤轉速，比如一個磁盤7200轉，表示每分鍾能轉7200次，也就是說1秒鍾能轉120次，旋轉延遲就是1/120/2 = 4.17ms；傳輸時間指的是從磁盤讀出或將數據寫入磁盤的時間，一般在零點幾毫秒，相對於前兩個時間可以忽略不計。那么訪問一次磁盤的時間，即一次磁盤IO的時間約等於5+4.17 = 9ms左右，聽起來還挺不錯的，但要知道一台500 -MIPS（Million Instructions Per Second）的機器每秒可以執行5億條指令，因為指令依靠的是電的性質，換句話說執行一次IO的時間可以執行約450萬條指令，數據庫動輒十萬百萬乃至千萬級數據，每次9毫秒的時間，顯然是個災難。下圖是計算機硬件延遲的對比圖，供大家參考：

考慮到磁盤IO是非常高昂的操作，計算機操作系統做了一些優化，當一次IO時，不光把當前磁盤地址的數據，而是把相鄰的數據也都讀取到內存緩沖區內，因為局部預讀性原理告訴我們，當計算機訪問一個地址的數據的時候，與其相鄰的數據也會很快被訪問到。每一次IO讀取的數據我們稱之為一頁(page)。具體一頁有多大數據跟操作系統有關，一般為4k或8k，也就是我們讀取一頁內的數據時候，實際上才發生了一次IO，這個理論對於索引的數據結構設計非常有幫助。

三、索引的數據結構

MySQL索引的數據結構-B+樹介紹：https://www.cnblogs.com/nickchen121/p/11152523.html

四、MySQL索引管理

4.1 功能

1. 索引的功能就是加速查找
2. mysql中的primary key，unique，聯合唯一也都是索引，這些索引除了加速查找以外，還有約束的功能

4.2 MySQL常用的索引

• 普通索引INDEX：加速查找

• 唯一索引：

  • 主鍵索引PRIMARY KEY：加速查找+約束（不為空、不能重復）
  • 唯一索引UNIQUE:加速查找+約束（不能重復）

• 聯合索引：

  • PRIMARY KEY(id,name):聯合主鍵索引
  • UNIQUE(id,name):聯合唯一索引
  • INDEX(id,name):聯合普通索引

4.3 各個索引應用場景

舉個例子來說，比如你在為某商場做一個會員卡的系統。

這個系統有一個會員表
有下列字段：
會員編號 INT
會員姓名 VARCHAR(10)
會員身份證號碼 VARCHAR(18)
會員電話 VARCHAR(10)
會員住址 VARCHAR(50)
會員備注信息 TEXT

那么這個 會員編號，作為主鍵，使用 PRIMARY
會員姓名 如果要建索引的話，那么就是普通的 INDEX
會員身份證號碼 如果要建索引的話，那么可以選擇 UNIQUE （唯一的，不允許重復）

# 除此之外還有全文索引，即FULLTEXT
會員備注信息 ， 如果需要建索引的話，可以選擇全文搜索。
用於搜索很長一篇文章的時候，效果最好。
用在比較短的文本，如果就一兩行字的，普通的 INDEX 也可以。
但其實對於全文搜索，我們並不會使用MySQL自帶的該索引，而是會選擇第三方軟件如Sphinx，專門來做全文搜索。

# 其他的如空間索引SPATIAL，了解即可，幾乎不用

各個索引的應用場景

各個索引的應用場景

4.4 索引的兩大類型hash與btree

我們可以在創建上述索引的時候，為其指定索引類型，分兩類：

1. hash類型的索引：查詢單條快，范圍查詢慢
2. btree類型的索引：b+樹，層數越多，數據量指數級增長（我們就用它，因為innodb默認支持它）

不同的存儲引擎支持的索引類型也不一樣：

• InnoDB 支持事務，支持行級別鎖定，支持 B-tree、Full-text 等索引，不支持 Hash 索引；
• MyISAM 不支持事務，支持表級別鎖定，支持 B-tree、Full-text 等索引，不支持 Hash 索引；
• Memory 不支持事務，支持表級別鎖定，支持 B-tree、Hash 等索引，不支持 Full-text 索引；
• NDB 支持事務，支持行級別鎖定，支持 Hash 索引，不支持 B-tree、Full-text 等索引；
• Archive 不支持事務，支持表級別鎖定，不支持 B-tree、Hash、Full-text 等索引；

4.5 創建/刪除索引的語法

# 方法一：創建表時
    　　CREATE TABLE 表名 (
                字段名1  數據類型 [完整性約束條件…],
                字段名2  數據類型 [完整性約束條件…],
                [UNIQUE | FULLTEXT | SPATIAL ]   INDEX | KEY
                [索引名]  (字段名[(長度)]  [ASC |DESC]) 
                );


# 方法二：CREATE在已存在的表上創建索引
        CREATE  [UNIQUE | FULLTEXT | SPATIAL ]  INDEX  索引名 
                     ON 表名 (字段名[(長度)]  [ASC |DESC]) ;


# 方法三：ALTER TABLE在已存在的表上創建索引
        ALTER TABLE 表名 ADD  [UNIQUE | FULLTEXT | SPATIAL ] INDEX
                             索引名 (字段名[(長度)]  [ASC |DESC]) ;
                             
# 刪除索引：DROP INDEX 索引名 ON 表名字;

4.6 示例

# 方式一
create table t1(
    id int,
    name char,
    age int,
    sex enum('male','female'),
    unique key uni_id(id),
    index ix_name(name) # index沒有key
);
create table t1(
    id int,
    name char,
    age int,
    sex enum('male','female'),
    unique key uni_id(id),
    index(name) # index沒有key
);


# 方式二
create index ix_age on t1(age);


# 方式三
alter table t1 add index ix_sex(sex);
alter table t1 add index(sex);

# 查看
mysql> show create table t1;
| t1    | CREATE TABLE `t1` (
  `id` int(11) DEFAULT NULL,
  `name` char(1) DEFAULT NULL,
  `age` int(11) DEFAULT NULL,
  `sex` enum('male','female') DEFAULT NULL,
  UNIQUE KEY `uni_id` (`id`),
  KEY `ix_name` (`name`),
  KEY `ix_age` (`age`),
  KEY `ix_sex` (`sex`)
) ENGINE=InnoDB DEFAULT CHARSET=latin1

五、測試索引

5.1 數據准備

# 1. 准備表
create table s1(
id int,
name varchar(20),
gender char(6),
email varchar(50)
);

# 2. 創建存儲過程，實現批量插入記錄
delimiter $$ # 聲明存儲過程的結束符號為$$
create procedure auto_insert1()
BEGIN
    declare i int default 1;
    while(i<3000000)do
        insert into s1 values(i,'eva','female',concat('eva',i,'@oldboy'));
        set i=i+1;
    end while;
END$$ # $$結束
delimiter ; # 重新聲明分號為結束符號

# 3. 查看存儲過程
show create procedure auto_insert1\G 

# 4. 調用存儲過程
call auto_insert1();

1、在沒有索引的前提下測試查詢速度

無索引：mysql根本就不知道到底是否存在id等於333333333的記錄，只能把數據表從頭到尾掃描一遍，此時有多少個磁盤塊就需要進行多少IO操作，所以查詢速度很慢

mysql> select * from s1 where id=333333333;
Empty set (0.33 sec)

2、在表中已經存在大量數據的前提下，為某個字段段建立索引，建立速度會很慢

3、在索引建立完畢后，以該字段為查詢條件時，查詢速度提升明顯

注意：

1. mysql先去索引表里根據b+樹的搜索原理很快搜索到id等於333333333的記錄不存在，IO大大降低，因而速度明顯提升
2. 我們可以去mysql的data目錄下找到該表，可以看到占用的硬盤空間多了
3. 需要注意，如下圖

5.2 小結

1. 一定是為搜索條件的字段創建索引，比如select * from s1 where id = 333;就需要為id加上索引
2. 在表中已經有大量數據的情況下，建索引會很慢，且占用硬盤空間，建完后查詢速度加快，比如create index idx on s1(id);會掃描表中所有的數據，然后以id為數據項，創建索引結構，存放於硬盤的表中。建完以后，再查詢就會很快了。
3. 需要注意的是：innodb表的索引會存放於s1.ibd文件中，而myisam表的索引則會有單獨的索引文件table1.MYI

MySAM索引文件和數據文件是分離的，索引文件僅保存數據記錄的地址。而在innodb中，表數據文件本身就是按照B+Tree（BTree即Balance True）組織的一個索引結構，這棵樹的葉節點data域保存了完整的數據記錄。這個索引的key是數據表的主鍵，因此innodb表數據文件本身就是主索引。
因為inndob的數據文件要按照主鍵聚集，所以innodb要求表必須要有主鍵（Myisam可以沒有），如果沒有顯式定義，則mysql系統會自動選擇一個可以唯一標識數據記錄的列作為主鍵，如果不存在這種列，則mysql會自動為innodb表生成一個隱含字段作為主鍵，這字段的長度為6個字節，類型為長整型.

六、正確使用索引

6.1 索引未命中

並不是說我們創建了索引就一定會加快查詢速度，若想利用索引達到預想的提高查詢速度的效果，我們在添加索引時，必須遵循以下問題：

1、范圍問題，或者說條件不明確，條件中出現這些符號或關鍵字：>、>=、<、<=、!= 、between...and...、like、大於號、小於號

不等於！=

between ...and...

like

2、盡量選擇區分度高的列作為索引,區分度的公式是count(distinct col)/count(*)，表示字段不重復的比例，比例越大我們掃描的記錄數越少，唯一鍵的區分度是1，而一些狀態、性別字段可能在大數據面前區分度就是0，那可能有人會問，這個比例有什么經驗值嗎？使用場景不同，這個值也很難確定，一般需要join的字段我們都要求是0.1以上，即平均1條掃描10條記錄。

先把表中的索引都刪除，讓我們專心研究區分度的問題：

mysql> desc s1;
+--------+-------------+------+-----+---------+-------+
| Field  | Type        | Null | Key | Default | Extra |
+--------+-------------+------+-----+---------+-------+
| id     | int(11)     | YES  | MUL | NULL    |       |
| name   | varchar(20) | YES  |     | NULL    |       |
| gender | char(5)     | YES  |     | NULL    |       |
| email  | varchar(50) | YES  | MUL | NULL    |       |
+--------+-------------+------+-----+---------+-------+
rows in set (0.00 sec)

mysql> drop index a on s1;
Query OK, 0 rows affected (0.20 sec)
Records: 0  Duplicates: 0  Warnings: 0

mysql> drop index d on s1;
Query OK, 0 rows affected (0.18 sec)
Records: 0  Duplicates: 0  Warnings: 0

mysql> desc s1;
+--------+-------------+------+-----+---------+-------+
| Field  | Type        | Null | Key | Default | Extra |
+--------+-------------+------+-----+---------+-------+
| id     | int(11)     | YES  |     | NULL    |       |
| name   | varchar(20) | YES  |     | NULL    |       |
| gender | char(5)     | YES  |     | NULL    |       |
| email  | varchar(50) | YES  |     | NULL    |       |
+--------+-------------+------+-----+---------+-------+
rows in set (0.00 sec)

分析原因：

我們編寫存儲過程為表s1批量添加記錄，name字段的值均為egon，也就是說name這個字段的區分度很低（gender字段也是一樣的，我們稍后再搭理它）

回憶b+樹的結構，查詢的速度與樹的高度成反比，要想將樹的高低控制的很低，需要保證：在某一層內數據項均是按照從左到右，從小到大的順序依次排開，即左1<左2<左3<...

而對於區分度低的字段，無法找到大小關系，因為值都是相等的，毫無疑問，還想要用b+樹存放這些等值的數據，只能增加樹的高度，字段的區分度越低，則樹的高度越高。極端的情況，索引字段的值都一樣，那么b+樹幾乎成了一根棍。本例中就是這種極端的情況，name字段所有的值均為'nick'

現在我們得出一個結論：為區分度低的字段建立索引，索引樹的高度會很高，然而這具體會帶來什么影響呢？？？

1. 如果條件是name='xxxx',那么肯定是可以第一時間判斷出'xxxx'是不在索引樹中的（因為樹中所有的值均為'nick’），所以查詢速度很快

2. 如果條件正好是name='nick',查詢時，我們永遠無法從樹的某個位置得到一個明確的范圍，只能往下找，往下找，往下找。。。這與全表掃描的IO次數沒有多大區別，所以速度很慢

3、索引列不能在條件中參與計算，保持列“干凈”，比如from_unixtime(create_time) = ’2014-05-29’就不能使用到索引，原因很簡單，b+樹中存的都是數據表中的字段值，但進行檢索時，需要把所有元素都應用函數才能比較，顯然成本太大。所以語句應該寫成create_time = unix_timestamp(’2014-05-29’)

4、and/or

1. and與or的邏輯

   • 條件1 and 條件2：所有條件都成立才算成立，但凡要有一個條件不成立則最終結果不成立
   • 條件1 or 條件2：只要有一個條件成立則最終結果就成立

2. and的工作原理

   • 條件：a = 10 and b = 'xxx' and c > 3 and d =4
   • 索引：制作聯合索引(d,a,b,c)
   • 工作原理：對於連續多個and：mysql會按照聯合索引，從左到右的順序找一個區分度高的索引字段(這樣便可以快速鎖定很小的范圍)，加速查詢，即按照d—>a->b->c的順序

3. or的工作原理

   • 條件：a = 10 or b = 'xxx' or c > 3 or d =4
   • 索引：制作聯合索引(d,a,b,c)
   • 工作原理：對於連續多個or：mysql會按照條件的順序，從左到右依次判斷，即a->b->c->d

在左邊條件成立但是索引字段的區分度低的情況下（name與gender均屬於這種情況），會依次往右找到一個區分度高的索引字段，加速查詢。

經過分析，在條件為name='nick' and gender='male' and id>333 and email='xxx'的情況下，我們完全沒必要為前三個條件的字段加索引，因為只能用上email字段的索引，前三個字段的索引反而會降低我們的查詢效率

5、最左前綴匹配原則，非常重要的原則，對於組合索引mysql會一直向右匹配直到遇到范圍查詢(>、<、between、like)就停止匹配(指的是范圍大了，有索引速度也慢)，比如a = 1 and b = 2 and c > 3 and d = 4 如果建立(a,b,c,d)順序的索引，d是用不到索引的，如果建立(a,b,d,c)的索引則都可以用到，a,b,d的順序可以任意調整。

6、其他情況

- 使用函數
    select * from tb1 where reverse(email) = 'nick';
            
- 類型不一致
    如果列是字符串類型，傳入條件是必須用引號引起來，不然...
    select * from tb1 where email = 999;
    
#排序條件為索引，則select字段必須也是索引字段，否則無法命中
- order by
    select name from s1 order by email desc;
    當根據索引排序時候，select查詢的字段如果不是索引，則速度仍然很慢
    select email from s1 order by email desc;
    特別的：如果對主鍵排序，則還是速度很快：
        select * from tb1 order by nid desc;
 
- 組合索引最左前綴
    如果組合索引為：(name,email)
    name and email       -- 命中索引
    name                 -- 命中索引
    email                -- 未命中索引


- count(1)或count(列)代替count(*)在mysql中沒有差別了

- create index xxxx  on tb(title(19)) #text類型，必須制定長度

6.2 其他注意事項

• 避免使用select *
• 使用count(*)
• 創建表時盡量使用 char 代替 varchar
• 表的字段順序固定長度的字段優先
• 組合索引代替多個單列索引（由於mysql中每次只能使用一個索引，所以經常使用多個條件查詢時更適合使用組合索引）
• 盡量使用短索引
• 使用連接（JOIN）來代替子查詢(Sub-Queries)
• 連表時注意條件類型需一致
• 索引散列值（重復少）不適合建索引，例：性別不適合

七、聯合索引和覆蓋索引

7.1 聯合索引

聯合索引是指對表上的多個列合起來做一個索引。聯合索引的創建方法與單個索引的創建方法一樣，不同之處僅在於有多個索引列，如下：

mysql> create table t(
    -> a int,
    -> b int,
    -> primary key(a),
    -> key idx_a_b(a,b)
    -> );
Query OK, 0 rows affected (0.11 sec)

那么何時需要使用聯合索引呢？在討論這個問題之前，先來看一下聯合索引內部的結果。從本質上來說，聯合索引就是一棵B+樹，不同的是聯合索引的鍵值得數量不是1，而是>=2。接着來討論兩個整型列組成的聯合索引，假定兩個鍵值得名稱分別為a、b如圖：

可以看到這與我們之前看到的單個鍵的B+樹並沒有什么不同，鍵值都是排序的，通過葉子結點可以邏輯上順序地讀出所有數據，就上面的例子來說，即（1,1），（1,2），（2,1），（2,4），（3,1），（3,2），數據按（a,b）的順序進行了存放。

因此，對於查詢select * from table where a=xxx and b=xxx, 顯然是可以使用(a,b) 這個聯合索引的，對於單個列a的查詢select * from table where a=xxx,也是可以使用（a,b）這個索引的。

但對於b列的查詢select * from table where b=xxx,則不可以使用（a,b） 索引，其實你不難發現原因，葉子節點上b的值為1、2、1、4、1、2顯然不是排序的，因此對於b列的查詢使用不到(a,b) 索引

聯合索引的第二個好處是在第一個鍵相同的情況下，已經對第二個鍵進行了排序處理，例如在很多情況下應用程序都需要查詢某個用戶的購物情況，並按照時間進行排序，最后取出最近三次的購買記錄，這時使用聯合索引可以幫我們避免多一次的排序操作，因為索引本身在葉子節點已經排序了，如下

# ===========准備表==============
create table buy_log(
    userid int unsigned not null,
    buy_date date
);

insert into buy_log values
(1,'2009-01-01'),
(2,'2009-01-01'),
(3,'2009-01-01'),
(1,'2009-02-01'),
(3,'2009-02-01'),
(1,'2009-03-01'),
(1,'2009-04-01');

alter table buy_log add key(userid);
alter table buy_log add key(userid,buy_date);

# ===========驗證==============
mysql> show create table buy_log;
| buy_log | CREATE TABLE `buy_log` (
  `userid` int(10) unsigned NOT NULL,
  `buy_date` date DEFAULT NULL,
  KEY `userid` (`userid`),
  KEY `userid_2` (`userid`,`buy_date`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 |

# 可以看到possible_keys在這里有兩個索引可以用，分別是單個索引userid與聯合索引userid_2,但是優化器最終選擇了使用的key是userid因為該索引的葉子節點包含單個鍵值，所以理論上一個頁能存放的記錄應該更多
mysql> explain select * from buy_log where userid=2;
+----+-------------+---------+------+-----------------+--------+---------+-------+------+-------+
| id | select_type | table   | type | possible_keys   | key    | key_len | ref   | rows | Extra |
+----+-------------+---------+------+-----------------+--------+---------+-------+------+-------+
|  1 | SIMPLE      | buy_log | ref  | userid,userid_2 | userid | 4       | const |    1 |       |
+----+-------------+---------+------+-----------------+--------+---------+-------+------+-------+
row in set (0.00 sec)

# 接着假定要取出userid為1的最近3次的購買記錄，用的就是聯合索引userid_2了，因為在這個索引中，在userid=1的情況下，buy_date都已經排序好了
mysql> explain select * from buy_log where userid=1 order by buy_date desc limit 3;
+--+-----------+-------+----+---------------+--------+-------+-----+----+------------------------+
|id|select_type|table  |type|possible_keys  | key    |key_len|ref  |rows| Extra                  |
+--+-----------+-------+----+---------------+--------+-------+-----+----+------------------------+
| 1|SIMPLE     |buy_log|ref |userid,userid_2|userid_2| 4     |const|  4 |Using where; Using index|
+--+-----------+-------+----+---------------+--------+-------+-----+----+------------------------+
row in set (0.00 sec)

# ps：如果extra的排序顯示是Using filesort，則意味着在查出數據后需要二次排序(如下查詢語句，沒有先用where userid=3先定位范圍，於是即便命中索引也沒用，需要二次排序)
mysql> explain select * from buy_log order by buy_date desc limit 3;
+--+-----------+-------+-----+-------------+--------+-------+----+----+---------------------------+
|id|select_type| table |type |possible_keys|key     |key_len|ref |rows|Extra                      |
+--+-----------+-------+-----+-------------+--------+-------+----+----+---------------------------+
| 1|SIMPLE     |buy_log|index| NULL        |userid_2| 8     |NULL|  7 |Using index; Using filesort|
+--+-----------+-------+-----+-------------+--------+-------+----+----+---------------------------+


# 對於聯合索引（a,b）,下述語句可以直接使用該索引，無需二次排序
select ... from table where a=xxx order by b;

# 然后對於聯合索引(a,b,c)來首，下列語句同樣可以直接通過索引得到結果
select ... from table where a=xxx order by b;
select ... from table where a=xxx and b=xxx order by c;

# 但是對於聯合索引(a,b,c)，下列語句不能通過索引直接得到結果，還需要自己執行一次filesort操作，因為索引（a，c)並未排序
select ... from table where a=xxx order by c;

7.2 覆蓋索引

InnoDB存儲引擎支持覆蓋索引（covering index，或稱索引覆蓋），即從輔助索引中就可以得到查詢記錄，而不需要查詢聚集索引中的記錄。

使用覆蓋索引的一個好處是：輔助索引不包含整行記錄的所有信息，故其大小要遠小於聚集索引，因此可以減少大量的IO操作。

---

注意：覆蓋索引技術最早是在InnoDB Plugin中完成並實現，這意味着對於InnoDB版本小於1.0的，或者MySQL數據庫版本為5.0以下的，InnoDB存儲引擎不支持覆蓋索引特性。

---

對於InnoDB存儲引擎的輔助索引而言，由於其包含了主鍵信息，因此其葉子節點存放的數據為（primary key1，priamey key2，...,key1，key2，...）。例如：

select age from s1 where id=123 and name = 'nick'; #id字段有索引，但是name字段沒有索引,該sql命中了索引，但未覆蓋，需要去聚集索引中再查找詳細信息。
最牛逼的情況是，索引字段覆蓋了所有，那全程通過索引來加速查詢以及獲取結果就ok了
mysql> desc s1;
+--------+-------------+------+-----+---------+-------+
| Field | Type | Null | Key | Default | Extra |
+--------+-------------+------+-----+---------+-------+
| id | int(11) | NO | | NULL | |
| name | varchar(20) | YES | | NULL | |
| gender | char(6) | YES | | NULL | |
| email | varchar(50) | YES | | NULL | |
+--------+-------------+------+-----+---------+-------+
rows in set (0.21 sec)

mysql> explain select name from s1 where id=1000; #沒有任何索引
+--+-----------+-----+----------+----+-------------+----+-------+----+-------+--------+-----------+
|id|select_type|table|partitions|type|possible_keys|key |key_len|ref | rows  |filtered| Extra     |
+--+-----------+-----+----------+----+-------------+----+-------+----+-------+--------+-----------+
| 1| SIMPLE    | s1  | NULL     |ALL | NULL        |NULL| NULL  |NULL|2688336| 10.00  |Using where|
+--+-----------+-----+----------+----+-------------+----+-------+----+-------+--------+-----------+
row in set, 1 warning (0.00 sec)

mysql> create index idx_id on s1(id); #創建索引
Query OK, 0 rows affected (4.16 sec)
Records: 0 Duplicates: 0 Warnings: 0

mysql> explain select name from s1 where id=1000; #命中輔助索引，但是未覆蓋索引，還需要從聚集索引中查找name
+--+-----------+-----+----------+----+-------------+------+-------+-----+----+--------+-----+
|id|select_type|table|partitions|type|possible_keys|   key|key_len| ref |rows|filtered|Extra|
+--+-----------+-----+----------+----+-------------+------+-------+-----+----+--------+-----+
| 1| SIMPLE    | s1  | NULL     | ref| idx_id      |idx_id| 4     |const| 1  | 100.00 | NULL|
+--+-----------+-----+----------+----+-------------+------+-------+-----+----+--------+-----+
row in set, 1 warning (0.08 sec)

mysql> explain select id from s1 where id=1000; #在輔助索引中就找到了全部信息，Using index代表覆蓋索引
+--+-----------+-----+----------+----+-------------+------+-------+-------+------+----------+-----+
|id|select_type|table|partitions|type|possible_keys| key  |key_len| ref |rows|filtered| Extra     |
+--+-----------+-----+----------+----+--------------------+-------+-------+------+----------+-----+
| 1| SIMPLE    | s1  | NULL     | ref| idx_id      |idx_id|  4    |const| 1  | 100.00 |Using index|
+--+-----------+-----+----------+----+-------------+------+-------+-----+----+--------+-----------+
row in set, 1 warning (0.03 sec)

覆蓋索引的另外一個好處是對某些統計問題而言的。基於上一小結創建的表buy_log，查詢計划如下：

mysql> explain select count(*) from buy_log;
+--+-----------+-------+-----+-------------+------+-------+----+----+-----------+
|id|select_type|table  | type|possible_keys|key   |key_len|ref |rows|Extra      |
+--+-----------+-------+-----+-------------+------+-------+----+----+-----------+
| 1| SIMPLE    |buy_log|index| NULL        |userid| 4     |NULL|  7 |Using index|
+--+-----------+-------+-----+-------------+------+-------+----+----+-----------+
row in set (0.00 sec)

innodb存儲引擎並不會選擇通過查詢聚集索引來進行統計。由於buy_log表有輔助索引，而輔助索引遠小於聚集索引，選擇輔助索引可以減少IO操作，故優化器的選擇如上key為userid輔助索引

對於（a,b）形式的聯合索引，一般是不可以選擇b中所謂的查詢條件。但如果是統計操作，並且是覆蓋索引，則優化器還是會選擇使用該索引，如下：

# 聯合索引userid_2（userid,buy_date）,一般情況，我們按照buy_date是無法使用該索引的，但特殊情況下：查詢語句是統計操作，且是覆蓋索引，則按照buy_date當做查詢條件時，也可以使用該聯合索引
mysql> explain select count(*) from buy_log where buy_date >= '2011-01-01' and buy_date < '2011-02-01';
+--+-----------+-------+-----+-------------+--------+-------+----+----+------------------------+
|id|select_type| table |type |possible_keys| key    |key_len|ref |rows|Extra                   |
+--+-----------+-------+-----+-------------+--------+-------+----+----+------------------------+
| 1| SIMPLE    |buy_log|index| NULL        |userid_2| 8     |NULL|  7 |Using where; Using index|
+--+-----------+-------+-----+-------------+--------+-------+----+----+------------------------+
row in set (0.00 sec)

7.3 合並索引

mysql> explain select count(email) from index_t where   id = 1000000  or email='eva100000@oldboy';
+--+-----------+------+--------------+--------------------------------+---------------+--------+-----+----+-----------------------------------------+
| id | select_type| table  | type                | possible_keys                              | key                   | key_len | ref    |rows | Extra                                                           |
+--+-----------+------+--------------+--------------------------------+---------------+--------+-----+----+-----------------------------------------+
|  1 | SIMPLE      | index_t| index_merge | PRIMARY,email,ind_id,ind_email | PRIMARY,email | 4,51   |NULL|   2    |Using union(PRIMARY,email); Using where |
+--+-----------+------+--------------+--------------------------------+---------------+--------+-----+----+-----------------------------------------+
row in set (0.01 sec)

八、查詢優化神器-explain

MySQL性能分析之Explain：https://www.cnblogs.com/nickchen121/p/11155917.html

九、慢查詢優化的基本步驟

0. 先運行看看是否真的很慢，注意設置SQL_NO_CACHE
1. where條件單表查，鎖定最小返回記錄表。這句話的意思是把查詢語句的where都應用到表中返回的記錄數最小的表開始查起，單表每個字段分別查詢，看哪個字段的區分度最高
2. explain查看執行計划，是否與1預期一致（從鎖定記錄較少的表開始查詢）
3. order by limit 形式的sql語句讓排序的表優先查
4. 了解業務方使用場景
5. 加索引時參照建索引的幾大原則
6. 觀察結果，不符合預期繼續從0分析

十、慢日志管理

慢日志
            - 執行時間 > 10
            - 未命中索引
            - 日志文件路徑
            
        配置：
            - 內存
                show variables like '%query%';
                show variables like '%queries%';
                set global 變量名 = 值
            - 配置文件
                mysqld --defaults-file='E:\wupeiqi\mysql-5.7.16-winx64\mysql-5.7.16-winx64\my-default.ini'
                
                my.conf內容：
                    slow_query_log = ON
                    slow_query_log_file = D:/....
                    
                注意：修改配置文件之后，需要重啟服務

MySQL日志管理
========================================================
錯誤日志: 記錄 MySQL 服務器啟動、關閉及運行錯誤等信息
二進制日志: 又稱binlog日志，以二進制文件的方式記錄數據庫中除 SELECT 以外的操作
查詢日志: 記錄查詢的信息
慢查詢日志: 記錄執行時間超過指定時間的操作
中繼日志： 備庫將主庫的二進制日志復制到自己的中繼日志中，從而在本地進行重放
通用日志： 審計哪個賬號、在哪個時段、做了哪些事件
事務日志或稱redo日志： 記錄Innodb事務相關的如事務執行時間、檢查點等
========================================================
一、bin-log
1. 啟用
# vim /etc/my.cnf
[mysqld]
log-bin[=dir\[filename]]
# service mysqld restart
2. 暫停
//僅當前會話
SET SQL_LOG_BIN=0;
SET SQL_LOG_BIN=1;
3. 查看
查看全部：
# mysqlbinlog mysql.000002
按時間：
# mysqlbinlog mysql.000002 --start-datetime="2012-12-05 10:02:56"
# mysqlbinlog mysql.000002 --stop-datetime="2012-12-05 11:02:54"
# mysqlbinlog mysql.000002 --start-datetime="2012-12-05 10:02:56" --stop-datetime="2012-12-05 11:02:54" 

按字節數：
# mysqlbinlog mysql.000002 --start-position=260
# mysqlbinlog mysql.000002 --stop-position=260
# mysqlbinlog mysql.000002 --start-position=260 --stop-position=930
4. 截斷bin-log（產生新的bin-log文件）
a. 重啟mysql服務器
b. # mysql -uroot -p123 -e 'flush logs'
5. 刪除bin-log文件
# mysql -uroot -p123 -e 'reset master' 


二、查詢日志
啟用通用查詢日志
# vim /etc/my.cnf
[mysqld]
log[=dir\[filename]]
# service mysqld restart

三、慢查詢日志
啟用慢查詢日志
# vim /etc/my.cnf
[mysqld]
log-slow-queries[=dir\[filename]]
long_query_time=n
# service mysqld restart
MySQL 5.6:
slow-query-log=1
slow-query-log-file=slow.log
long_query_time=3  單位為秒
查看慢查詢日志
測試:BENCHMARK(count,expr)
SELECT BENCHMARK(50000000,2*3);