1 索引的作用：
一般的應用系統，讀寫比例在10:1左右，而且插入操作和一般的更新操作很少出現性能問題，
在生產環境中，我們遇到最多的，也是最容易出問題的，還是一些復雜的查詢操作，因此對查詢語句的優化顯然是重中之重。
說起加速查詢，就不得不提到索引了。
索引
在MySQL中也叫做“鍵”，是存儲引擎用於快速找到記錄的一種數據結構。索引對於良好的性能
非常關鍵，尤其是當表中的數據量越來越大時，索引對於性能的影響愈發重要。
索引優化應該是對查詢性能優化最有效的手段了。索引能夠輕易將查詢性能提高好幾個數量級。
索引相當於字典的音序表，如果要查某個字，如果不使用音序表，則需要從幾百頁中逐頁去查。
2 索引的原理：
1 索引原理
目的 提高查詢效率
本質 通過不斷地縮小想要獲取數據的范圍來篩選出最終想要的結果，同時把隨機的事件變成順序的事件，
有了這種索引機制，可以總是用同一種查找方式來鎖定數據。
2 磁盤IO與預讀
磁盤IO和預讀，磁盤讀取數據靠的是機械運動，每次讀取數據花費的時間可以分為尋道時間、旋轉延遲、傳輸時間三個部分，
尋道時間 指的是磁臂移動到指定磁道所需要的時間，主流磁盤一般在5ms以下；
旋轉延遲 就是我們經常聽說的磁盤轉速，比如一個磁盤7200轉，表示每分鍾能轉7200次，也就是說1秒鍾能轉120次，
旋轉延遲就是1/120/2 = 4.17ms；
傳輸時間 指的是從磁盤讀出或將數據寫入磁盤的時間，一般在零點幾毫秒，相對於前兩個時間可以忽略不計。
一次磁盤的時間，即一次磁盤IO的時間約等於5+4.17 = 9ms左右，聽起來還挺不錯的，
但 一台500 -MIPS（Million Instructions Per Second）的機器每秒可以執行5億條指令，
磁盤IO是非常高昂的操作，計算機操作系統做了一些優化，當一次IO時，不光把當前磁盤地址的數據，
而是把相鄰的數據也都讀取到內存緩沖區內，因為 局部預讀性原理 告訴我們，當計算機訪問一個地址的數據的時候，
與其相鄰的數據也會很快被訪問到。每一次IO讀取的數據我們稱之為一頁(page)。具體一頁有多大數據跟操作系統有關，
一般為4k或8k，也就是我們讀取一頁內的數據時候，實際上才發生了一次IO，對索引的數據結構設計非常有幫助。
3 索引的數據結構
任何一種數據結構都不是憑空產生的，一定會有它的背景和使用場景，要每次查找數據時把磁盤IO次數控制在一個很小的數量級，
最好是常數數量級。多路搜索樹， b+樹 應運而生。
索引 === 平衡樹 ---btree (樹的平衡---高度) ====== 減少IO
磁盤塊(數據項+指針)
磁盤塊(數據項+指針) 磁盤塊(數據項+指針)
真實的數據項 真實的數據項 真實的數據項 真實的數據項 真實的數據項 (葉子節點)
淺藍色的塊我們稱之為一個磁盤塊，可以看到每個磁盤塊包含幾個數據項（深藍色所示）和指針（黃色所示），如磁盤塊1包含數據項17和35，包含指針P1、P2、P3，P1表示小於17的磁盤塊，P2表示在17和35之間的磁盤塊，P3表示大於35的磁盤塊。真實的數據存在於葉子節點即3、5、9、10、13、15、28、29、36、60、75、79、90、99。非葉子節點只不存儲真實的數據，只存儲指引搜索方向的數據項，如17、35並不真實存在於數據表中。
b+樹的查找過程
如圖所示，如果要查找數據項29，那么首先會把磁盤塊1由磁盤加載到內存，此時發生一次IO，在內存中用二分查找確定29在17和35之間，鎖定磁盤塊1的P2指針，內存時間因為非常短（相比磁盤的IO）可以忽略不計，通過磁盤塊1的P2指針的磁盤地址把磁盤塊3由磁盤加載到內存，發生第二次IO，29在26和30之間，鎖定磁盤塊3的P2指針，通過指針加載磁盤塊8到內存，發生第三次IO，同時內存中做二分查找找到29，結束查詢，總計三次IO。真實的情況是，3層的b+樹可以表示上百萬的數據，如果上百萬的數據查找只需要三次IO，性能提高將是巨大的，如果沒有索引，每個數據項都要發生一次IO，那么總共需要百萬次的IO，顯然成本非常非常高。
b+樹性質
索引字段要盡量的小：
通過上面的分析，我們知道IO次數取決於b+數的高度h，假設當前數據表的數據為N，每個磁盤塊的數據項的數量是m，則有h=㏒(m+1)N，當數據量N一定的情況下，m越大，h越小；而m = 磁盤塊的大小 / 數據項的大小，磁盤塊的大小也就是一個數據頁的大小，是固定的，如果數據項占的空間越小，數據項的數量越多，樹的高度越低。這就是為什么每個數據項，即索引字段要盡量的小，比如int占4字節，要比bigint8字節少一半。這也是為什么b+樹要求把真實的數據放到葉子節點而不是內層節點，一旦放到內層節點，磁盤塊的數據項會大幅度下降，導致樹增高。當數據項等於1時將會退化成線性表。
索引的最左匹配特性：
當b+樹的數據項是復合的數據結構，比如(name,age,sex)的時候，b+數是按照從左到右的順序來建立搜索樹的，比如當(張三,20,F)這樣的數據來檢索的時候，b+樹會優先比較name來確定下一步的所搜方向，如果name相同再依次比較age和sex，最后得到檢索的數據；但當(20,F)這樣的沒有name的數據來的時候，b+樹就不知道下一步該查哪個節點，因為建立搜索樹的時候name就是第一個比較因子，必須要先根據name來搜索才能知道下一步去哪里查詢。比如當(張三,F)這樣的數據來檢索時，b+樹可以用name來指定搜索方向，但下一個字段age的缺失，所以只能把名字等於張三的數據都找到，然后再匹配性別是F的數據了， 這個是非常重要的性質，即索引的最左匹配特性。
3 MySQL索引
1 功能
索引的功能就是加速查找 mysql中的 primary key，unique，聯合唯一也都是索引，這些索引除了加速查找以外，還有約束的功能
2 MySQL常用的索引
普通索引INDEX：加速查找
唯一索引：
-主鍵索引PRIMARY KEY：加速查找+約束（不為空、不能重復）
-唯一索引UNIQUE:加速查找+約束（不能重復）
聯合索引：
-PRIMARY KEY(id,name):聯合主鍵索引
-UNIQUE(id,name):聯合唯一索引
-INDEX(id,name):聯合普通索引
3 索引的兩大類型hash與btree
索引類型，分兩類 hash類型的索引：查詢單條快，范圍查詢慢 btree類型的索引：b+樹，層數越多，數據量指數級增長（我們就用它，因為innodb默認支持它） 不同的存儲引擎支持的索引類型也不一樣 InnoDB 支持事務，支持行級別鎖定，支持 B-tree、Full-text 等索引，不支持 Hash 索引； MyISAM 不支持事務，支持表級別鎖定，支持 B-tree、Full-text 等索引，不支持 Hash 索引； Memory 不支持事務，支持表級別鎖定，支持 B-tree、Hash 等索引，不支持 Full-text 索引； NDB 支持事務，支持行級別鎖定，支持 Hash 索引，不支持 B-tree、Full-text 等索引； Archive 不支持事務，支持表級別鎖定，不支持 B-tree、Hash、Full-text 等索引；
4 創建/刪除索引的語法
1 ：創建表時
CREATE TABLE 表名 (
字段名1 數據類型 [完整性約束條件…],
字段名2 數據類型 [完整性約束條件…],
[UNIQUE | FULLTEXT | SPATIAL ] INDEX | KEY
[索引名] (字段名[(長度)] [ASC |DESC])
);
2 ： CREATE在已存在的表上創建索引
CREATE [UNIQUE | FULLTEXT | SPATIAL ] INDEX 索引名
ON 表名 (字段名[(長度)] [ASC |DESC]) ;
3 ：ALTER TABLE在已存在的表上創建索引
ALTER TABLE 表名 ADD [UNIQUE | FULLTEXT | SPATIAL ] INDEX
索引名 (字段名[(長度)] [ASC |DESC]) ;
#刪除索引：DROP INDEX 索引名 ON 表名字;
5 創建索引時需要注意：
=== 1 選擇區分度高的字段作為 索引 字段
=== 2 范圍 ，條件不明確的 有索引 速度也會很慢
=== 3 索引字段 不能 通過 *10 avg() 查詢
=== 4 最左前綴 --聯合索引 (a,b,c,d)
重復性高的 字段( name ,gender )不要加索引
范圍大的 索引 速度 會很慢
like '%xx' % 在左邊 索引會很慢 要從頭到尾先查詢一遍
用 name, id 字段 作為 索引的 只能 用 本來的字段進行查詢 (不能用 id*10, avg(id) 等來查詢)
and 左右條件 會先找 有索引的 查
or 會按順序找
a,b,c,d ==== 聯合索引 (a=1,b=1,d=2,c>3) 范圍放到最后---最左前綴匹配
select * from s1 where a=3,b=5,c>3,d=6 (先找 區分度高的 索引)
1. 一定是為搜索條件的字段創建索引，比如select * from s1 where id = 333; 就需要為id加上索引 2. 在表中已經有大量數據的情況下，建索引會很慢，且占用硬盤空間，建完后查詢速度加快 比如create index idx on s1(id);會掃描表中所有的數據，然后以id為數據項，創建索引結構，存放於硬盤的表中。 建完以后，再查詢就會很快了。 3. innodb表的索引 會存放於s1.ibd文件中，而 myisam表的索引 則會有單獨的索引文件table1.MYI
innodb 引擎 --- frm + idb(數據+索引)
myisam 引擎 ---- frm + myd + myi (數據與索引分離)
MySAM索引文件和數據文件是分離的，索引文件僅保存數據記錄的地址。而在innodb中，表數據文件本身就是按照B+Tree
（BTree即Balance True）組織的一個索引結構，這棵樹的葉節點data域保存了完整的數據記錄。這個索引的key是數據表的主鍵，
因此innodb表數據文件本身就是主索引。
因為inndob的數據文件要按照主鍵聚集，所以innodb要求表必須要有主鍵（Myisam可以沒有），如果沒有顯式定義，
則mysql系統會自動選擇一個可以唯一標識數據記錄的列作為主鍵，如果不存在這種列，則mysql會自動為innodb表生成一個
隱含字段作為主鍵，這字段的長度為6個字節，類型為長整型.
4 正確使用索引
一 索引未命中
並不是說我們創建了索引就一定會加快查詢速度，若想利用索引達到預想的提高查詢速度的效果，我們在添加索引時，必須遵循以下問題
1 范圍問題，或者說條件不明確，條件中出現這些符號或關鍵字：>、>=、<、<=、!= 、between...and...、like、
大於號、小於號
不等於！=
between ...and...
like
2 盡量選擇區分度高的列作為索引,區分度的公式是count(distinct col)/count(*)，表示字段不重復的比例，比例越大我們掃描的記錄數越少，唯一鍵的區分度是1，而一些狀態、性別字段可能在大數據面前區分度就是0，那可能有人會問，這個比例有什么經驗值嗎？使用場景不同，這個值也很難確定，一般需要join的字段我們都要求是0.1以上，即平均1條掃描10條記錄
3 =和in可以亂序，比如a = 1 and b = 2 and c = 3 建立(a,b,c)索引可以任意順序，mysql的查詢優化器會幫你優化成索引可以識別的形式
4 索引列不能參與計算，保持列“干凈”，比如from_unixtime(create_time) = ’2014-05-29’就不能使用到索引，原因很簡單，b+樹中存的都是數據表中的字段值，但進行檢索時，需要把所有元素都應用函數才能比較，顯然成本太大。所以語句應該寫成create_time = unix_timestamp(’2014-05-29’)
5 and/or
#注意： 條件1 and 條件2:查詢原理是：首先條件1與條件2都成立的前提下，才算匹配成功一條記錄；其次mysql會按先優先判斷索引字段的條件,如果按照該條件為真，但鎖定的范圍很小，或者干脆為假，那我們即便是沒有為其他條件的字段添加索引，最終的結果仍然很快 #例如： 若條件1的字段有索引，而條件2的字段沒有索引，那么如果在按照條件1查出的結果很少的情況下，即便我們沒有為條件2創建索引，最終的查詢速度依然很快 若條件1的字段沒有索引，而條件2的字段有索引，那么如果在按照條件2查出的結果很少的情況下，即便我們沒有為條件1創建索引，最終的查詢速度依然很快
在左邊條件成立但是索引字段的區分度低的情況下（name與gender均屬於這種情況），會依次往右找到一個區分度高的索引字段，加速查詢
經過分析，在條件為name='egon' and gender='male' and id>333 and email='xxx'的情況下，我們完全沒必要為前三個條件的字段加索引，因為只能用上email字段的索引，前三個字段的索引反而會降低我們的查詢效率
6 最左前綴匹配原則，非常重要的原則，對於組合索引mysql會一直向右匹配直到遇到范圍查詢(>、<、between、like)就停止匹配(指的是范圍大了，有索引速度也慢)，比如a = 1 and b = 2 and c > 3 and d = 4 如果建立(a,b,c,d)順序的索引，d是用不到索引的，如果建立(a,b,d,c)的索引則都可以用到，a,b,d的順序可以任意調整。
7 其他情況
使用函數 select * from tb1 where reverse(email) = 'egon'; - 類型不一致 如果列是字符串類型，傳入條件是必須用引號引起來，不然... select * from tb1 where email = 999; #排序條件為索引，則select字段必須也是索引字段，否則無法命中 - order by select name from s1 order by email desc; 當根據索引排序時候，select查詢的字段如果不是索引，則速度仍然很慢 select email from s1 order by email desc; 特別的：如果對主鍵排序，則還是速度很快： select * from tb1 order by nid desc; - 組合索引最左前綴 如果組合索引為：(name,email) name and email -- 命中索引 name -- 命中索引 email -- 未命中索引 - count(1)或count(列)代替count(*)在mysql中沒有差別了 - create index xxxx on tb(title(19)) #text類型，必須制定長度
其他注意事項
- 避免使用select * - count(1)或count(列) 代替 count(*) - 創建表時盡量時 char 代替 varchar - 表的字段順序固定長度的字段優先 - 組合索引代替多個單列索引（經常使用多個條件查詢時） - 盡量使用短索引 - 使用連接（JOIN）來代替子查詢(Sub-Queries) - 連表時注意條件類型需一致 - 索引散列值（重復少）不適合建索引，例：性別不適合
三 覆蓋索引與索引合並
#覆蓋索引：
- 所有字段（條件的，查詢結果的等）都是索引字段
http://blog.itpub.net/22664653/viewspace-774667/
#分析
select age from s1 where id=123 and name = 'egon'; #id字段有索引，但是name字段沒有索引
該sql命中了索引，但未覆蓋全部。
利用id=123到索引的數據結構中定位到了id字段，但是仍要判斷name字段，但是name字段沒有索引，而且查詢結果的字段age也沒有索引
最牛逼的情況是，索引字段覆蓋了所有，那全程通過索引來加速查詢以及獲取結果就ok了
#索引合並：把多個單列索引合並使用 #分析： 組合索引能做到的事情，我們都可以用索引合並去解決，比如 create index ne on s1(name,email);#組合索引 我們完全可以單獨為name和email創建索引，然后按照where name='xxx' and email='xxx'使用 #索引合並 組合索引可以命中： select * from s1 where name='egon' ; select * from s1 where name='egon' and email='adf'; 索引合並可以命中： select * from s1 where name='egon' ; select * from s1 where email='adf'; select * from s1 where name='egon' and email='adf'; 乍一看好像索引合並更好了：可以命中更多的情況，但其實要分情況去看，如果是name='egon' and email='adf',那么組合索引的效率要高於索引合並，如果是單條件查，那么還是用索引合並比較合理
5 查詢優化神器-explain
關於explain命令相信大家並不陌生，具體用法和字段含義可以參考官網explain-output，這里需要強調rows是核心指標，絕大部分rows小的語句執行一定很快（有例外，下面會講到）。所以優化語句基本上都是在優化rows。
執行計划：讓mysql預估執行操作(一般正確)
all < index < range < index_merge < ref_or_null < ref < eq_ref < system/const
id,email
慢：
select * from userinfo3 where name='alex'
explain select * from userinfo3 where name='alex'
type: ALL(全表掃描)
select * from userinfo3 limit 1;
快：
select * from userinfo3 where email='alex'
type: const(走索引)
http://blog.itpub.net/29773961/viewspace-1767044/
6 慢查詢優化的基本步驟
0.先運行看看是否真的很慢，注意設置SQL_NO_CACHE 1.where條件單表查，鎖定最小返回記錄表。這句話的意思是把查詢語句的where都應用到表中返回的記錄數最小的表開始查起，單表每個字段分別查詢，看哪個字段的區分度最高 2.explain查看執行計划，是否與1預期一致（從鎖定記錄較少的表開始查詢） 3.order by limit 形式的sql語句讓排序的表優先查 4.了解業務方使用場景 5.加索引時參照建索引的幾大原則 6.觀察結果，不符合預期繼續從0分析
7 慢日志管理
慢日志
- 執行時間 > 10
- 未命中索引
- 日志文件路徑
配置：
- 內存
show variables like '%query%';
show variables like '%queries%';
set global 變量名 = 值
- 配置文件
mysqld --defaults-file='E:\wupeiqi\mysql-5.7.16-winx64\mysql-5.7.16-winx64\my-default.ini'
my.conf內容：
slow_query_log = ON
slow_query_log_file = D:/....
注意：修改配置文件之后，需要重啟服務