使用EXPLAIN關鍵字可以模擬優化器執行SQL語句,分析你的查詢語句或是結構的性能瓶頸;
在 select 語句之前增加 explain 關鍵字,MySQL 會在查詢上設置一個標記,執行查詢會返回執行計划的信息,而不是執行這條SQL;
注意:如果 from 中包含子查詢,仍會執行該子查詢,將結果放入臨時表中;
我們既然要學習 explain,那我們就要創建一些表;
# 演員表 DROP TABLE IF EXISTS `actor`; CREATE TABLE `actor` ( `id` int(11) NOT NULL, `name` varchar(45) DEFAULT NULL, `update_time` datetime DEFAULT NULL, PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8; INSERT INTO `actor` (`id`, `name`, `update_time`) VALUES (1,'a','2017-12-2 15:27:18'), (2,'b','2017-12-22 15:27:18'), (3,'c','2017-12-22 15:27:18'); # 電影表 DROP TABLE IF EXISTS `film`; CREATE TABLE `film` ( `id` int(11) NOT NULL AUTO_INCREMENT, `name` varchar(10) DEFAULT NULL, PRIMARY KEY (`id`), KEY `idx_name` (`name`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8; INSERT INTO `film` (`id`, `name`) VALUES (3,'film0'),(1,'film1'),(2,'film2'); # 演員和電影的關聯表 DROP TABLE IF EXISTS `film_actor`; CREATE TABLE `film_actor` ( `id` int(11) NOT NULL, `film_id` int(11) NOT NULL, `actor_id` int(11) NOT NULL, `remark` varchar(255) DEFAULT NULL, PRIMARY KEY (`id`), KEY `idx_film_actor_id` (`film_id`,`actor_id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8; INSERT INTO `film_actor` (`id`, `film_id`, `actor_id`) VALUES (1,1,1),(2,1,2),(3,2,1);
explain 兩個變種
(1)explain extended:會在 explain 的基礎上額外提供一些查詢優化的信息。緊隨其后通過 show warnings 命令可以得到優化后的查詢語句,從而看出優化器優化了什么。額外還有 filtered 列,是一個半分比的值,rows * filtered/100 可以估算出將要和 explain 中前一個表進行連接的行數(前一個表指 explain 中的id值比當前表id值小的表)。
mysql> explain extended select * from film where id = 1; mysql> show warnings;
(2)explain partitions:相比 explain 多了個 partitions 字段,如果查詢是基於分區表的話,會顯示查詢將訪問的分區。
explain 中的列
1
|
explain
select
*
from
actor;
|
以上的執行計划結果:
1. id 列
id 列的編號是 select 的序列號,有幾個 select 就有幾個id,並且 id 的出現順序是按 select 出現的順序增長的。
id 列越大執行優先級越高,id 相同則從上往下執行,id為NULL最后執行。
2. select_type 列
select_type 表示對應行是簡單還是復雜的查詢。簡單查詢只有 simple,復雜查詢有:primary,subquery,derived,union;
(1)simple:簡單查詢。查詢不包含 子查詢 和 union;
mysql> explain select * from film where id = 2;
(2)primary:最外層的 select ;----復雜查詢
(3)subquery:包含在 select 中的子查詢(不在 from 子句中) -- 復雜查詢
(4)derived:包含在 from 子句中的子查詢。MySQL會將結果存放在一個臨時表中,也稱為派生表(derived的英文含義) ; --復雜查詢
用下面的例子了解 primary、subquery 和 derived 類型:
mysql> set session optimizer_switch='derived_merge=off'; #關閉mysql5.7新特性對衍生表的合並優化 mysql> explain select (select 1 from actor where id = 1) from (select * from film where id = 1) der; mysql> set session optimizer_switch='derived_merge=on'; #還原默認配置
分析SQL的執行順序: 先執行 film 表的查詢 --> 再執行 actor 表的查詢 --> 最后再執行生成的臨時表查詢;
第1行( id 為 1)的 select_type 為 primary,表示的最外層的查詢;id 為 1,是最小的,則最后執行;
第2行( id 為 3)的 select_type 為 derived,表示的 from 后面的子查詢,也叫派生表,別名為 der 的派生表;id 為 3,是最大的,則最先執行的;
第3行(id 為 2)的 select_type 為 subquery,表示的 from 前面的子查詢;id 為 2,是中間的,則在中間執行;
(5)union:在 union 中的第二個和之后的 select 都為 union;
mysql> explain select 1 union all select 1;
3. table 列
這一列表示 explain 的一行正在訪問哪個表。
當 from 子句中有子查詢時,table列是 <derivenN> 格式,表示當前查詢依賴 id=N 的查詢,於是先執行 id=N 的查詢。
當有 union 時,UNION RESULT 的 table 列的值為<union1,2>,1和2表示參與 union 的select 行 id。
NULL:mysql能夠在優化階段分解查詢語句,在執行階段用不着再訪問表或索引。例如:在索引列中選取最小值,可以單獨查找索引來完成,不需要在執行時訪問表
mysql> explain select min(id) from film;
4. type列
這一列表示關聯類型或訪問類型,即MySQL決定如何查找表中的行,查找數據行記錄的大概范圍。
依次從最優到最差分別為:system > const > eq_ref > ref > range > index > ALL
一般來說,得保證查詢達到 range 級別,最好達到 ref;
(1)const, system:mysql能對查詢的某部分進行優化並將其轉化成一個常量(可以看show warnings 的結果)。 system = 1。
用於 primary key 或 unique key 的所有列與常數比較時,所以表最多有一個匹配行,讀取1次,速度比較快。system是const的特例,表里只有一條數據時為 system; (使用主鍵或者唯一索引的時候會出現)
mysql> set session optimizer_switch='derived_merge=off'; #關閉mysql5.7新特性對衍生表的合並優化 mysql> explain extended select * from (select * from film where id = 1) tmp; mysql> set session optimizer_switch='derived_merge=on'; #還原默認配置
(2)eq_ref:primary key 或 unique key 索引的所有部分被連接使用 ,最多只會返回一條符合條件的記錄。
這可能是在 const 之外最好的聯接類型了,簡單的 select 查詢不會出現這種 type。
(在連接查詢的時候,使用了主鍵或唯一索引的全部字段)
mysql> explain select * from film_actor left join film on film_actor.film_id = film.id;
說明: film_id:表的聯合索引中的一個字段 ,但是 type 為 All;
因為使用的 * 查詢的,指的要查詢所有的字段,但是 film_actor 表的 remark 字段沒有建立索引的,所以需要全表掃描;
(3)ref:相比 eq_ref,不使用唯一索引,而是使用普通索引 或者 唯一性索引的部分前綴,索引要和某個值相比較,可能會找到多個符合條件的行;
(使用的普通索引 或 聯合唯一索引的部分前綴)
<1> 簡單 select 查詢,name是普通索引(非唯一索引)
mysql> explain select * from film where name = 'film1';
<2> 關聯表查詢,idx_film_actor_id 是 film_id 和 actor_id 的聯合索引,這里使用到了film_actor的左邊前綴 film_id 部分。
mysql> explain select film_id from film left join film_actor on film.id = film_actor.film_id;
(4)range:范圍掃描通常出現在 in(), between , > , <, >= 等操作中。使用一個索引來檢索給定范圍的行。
mysql> explain select * from actor where id > 1;
(5)index:掃描全表索引,通常比 All 快一些;
1
|
mysql> explain
select
*
from
film;
|
film 表的所有字段都建立了索引,使用 * 查詢,則 type 為 index;
(6)ALL:即全表掃描,意味着mysql需要從頭到尾去查找所需要的行。通常情況下這需要增加索引來進行優化了。
mysql> explain select * from actor;
5. possible_keys 列
這一列顯示查詢 可能 使用哪些 索引 來查找。
explain 時可能出現 possible_keys 有值,而 key 顯示 NULL 的情況,這是因為表中數據不多,mysql認為索引對此查詢幫助不大,選擇了全表查詢。
如果該列是NULL,則沒有相關的索引。在這種情況下,可以通過檢查 where 子句看是否可以創造一個適當的索引來提高查詢性能,然后用 explain 查看效果。
6. key 列
這一列顯示mysql 實際 采用哪個 索引 來優化對該表的訪問。
如果沒有使用索引,則該列是 NULL。如果想強制mysql使用或忽視 possible_keys 列中的索引,在查詢中使用 force index、ignore index。
1
|
mysql> explain
select
*
from
film
where
name
=
'film1'
;
|
7. key_len列
這一列顯示了mysql 在索引里使用的字節數,通過這個值可以算出具體使用了索引中的哪些列。
舉例來說,film_actor的聯合索引 idx_film_actor_id 由 film_id 和 actor_id 兩個int列組成,並且每個int是4字節。通過結果中的key_len=4可推斷出查詢使用了第一個列:film_id列來執行索引查找。
mysql> explain select * from film_actor where film_id = 2;
key_len計算規則如下:
字符串 char(n):n字節長度 varchar(n):2字節存儲字符串長度,如果是utf-8,則長度 3n + 2 數值類型 tinyint:1字節 smallint:2字節 int:4字節 bigint:8字節 時間類型 date:3字節 timestamp:4字節 datetime:8字節
注意:如果字段允許為 NULL,需要1字節記錄是否為 NULL
索引最大長度是768字節,當字符串過長時,mysql會做一個類似左前綴索引的處理,將前半部分的字符提取出來做索引。
8. ref列
這一列顯示了在 key 列記錄的索引中,表查找值所用到的列或常量,常見的有:const(常量),字段名(例:film.id)。
9. rows列
這一列是mysql估計要讀取並檢測的行數,注意這個不是結果集里的行數。掃描的索引可能的行數
10. Extra列
這一列展示的是額外信息。常見的重要值如下:
Using index > Using index condition > Using where
(1)Using index:使用覆蓋索引;覆蓋索引是select的數據列只用從索引中就能夠取得,不必讀取數據行,換句話說查詢列要被所建的索引覆蓋。也就是查詢的結果集中的所有字段都是在索引中的;
mysql> explain select film_id from film_actor where film_id = 1;
(2)Using index condition:查詢的列不完全被索引覆蓋,where條件中是一個聯合索引的前導列的范圍;
mysql> explain select * from film_actor where film_id > 1;
(3)Using where:使用 where 語句來處理結果,查詢的列未被索引覆蓋;在查找使用索引的情況下,需要回表去查詢所需的數據
mysql> explain select * from actor where name = 'a';
(4)Using temporary:mysql需要創建一張臨時表來處理查詢。出現這種情況一般是要進行優化的,首先是想到用索引來優化。
<1> actor.name沒有索引,此時創建了張臨時表來 distinct;(distinct 查詢可能會使用到臨時表)
mysql> explain select distinct name from actor;
<2> film.name 建立了 idx_name 索引,此時查詢時 extra 是 using index, 沒有用臨時表;將索引樹加載到內存中,然后去重;
mysql> explain select distinct name from film;
(5)Using filesort:將用外部排序而不是索引排序,數據較小時從內存排序,否則需要在磁盤完成排序。這種情況下一般也是要考慮使用索引來優化的。
<1> actor.name未創建索引,會瀏覽actor整個表,保存排序關鍵字name和對應的id,然后排序name並檢索行記錄
mysql> explain select * from actor order by name;
<2> film.name建立了idx_name索引,此時查詢時extra是using index
mysql> explain select * from film order by name;
(6)Select tables optimized away:使用某些聚合函數(比如 max、min)來訪問存在索引的某個字段;已經被 MySQL 優化過了;
mysql> explain select min(id) from film;
索引實踐
示例表的創建
CREATE TABLE `employees` ( `id` int(11) NOT NULL AUTO_INCREMENT, `name` varchar(24) NOT NULL DEFAULT '' COMMENT '姓名', `age` int(11) NOT NULL DEFAULT '0' COMMENT '年齡', `position` varchar(20) NOT NULL DEFAULT '' COMMENT '職位', `hire_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '入職時間', PRIMARY KEY (`id`), KEY `idx_name_age_position` (`name`,`age`,`position`) USING BTREE ) ENGINE=InnoDB AUTO_INCREMENT=4 DEFAULT CHARSET=utf8 COMMENT='員工記錄表'; INSERT INTO employees(name,age,position,hire_time) VALUES('LiLei',22,'manager',NOW()); INSERT INTO employees(name,age,position,hire_time) VALUES('HanMeimei',23,'dev',NOW()); INSERT INTO employees(name,age,position,hire_time) VALUES('Lucy',23,'dev',NOW());
1、全值匹配
EXPLAIN SELECT * FROM employees WHERE name= 'LiLei';
name 是 聯合索引 idx_name_age_position 的前導字段;
key_len 為 74,name為 varchar(24),則 3 * 24 + 2 = 74,所以使用聯合索引中的 name 字段走的索引;
EXPLAIN SELECT * FROM employees WHERE name= 'LiLei' AND age = 22;
name,age 是聯合索引 idx_name_age_position 的字段;
key_len 為 78,name為 varchar(24),則 3 * 24 + 2 = 74;age 為 int ,所以值為4 ; 74 + 4 = 78,所以使用聯合索引中的 name,age 字段走的索引;
EXPLAIN SELECT * FROM employees WHERE name= 'LiLei' AND age = 22 AND position ='manager';
name,age,position 是聯合索引 idx_name_age_position 的字段;
key_len 為 140,name為 varchar(24) 類型,則 3 * 24 + 2 = 74;age 為 int 類型,所以值為4;position 為 varchaer(20),所以值為 3 * 20 + 2 = 62; 74 + 4 + 62 = 140,所以使用聯合索引中的 name,age,position 字段走的索引;
2.最左前綴法則
如果建立了聯合索引,要遵守最左前綴法則。指的是查詢從聯合索引的最左前列開始並且不跳過索引中的列。
(1)使用了聯合索引的前兩個字段查詢;
EXPLAIN SELECT * FROM employees WHERE name = 'LiLei' and age = 22; #name,age 都走了索引
key_len 為 78,(3 * 24 + 2) + 4 = 78;走了 name 和 age 索引;
(2)使用聯合索引的第1, 3 字段查詢
EXPLAIN SELECT * FROM employees WHERE name = 'LiLei' and position ='manager'; #只有 name 走了索引
key_len 為 74,name 的 長剛好為 74,所以只有 name 走了索引;
分析:聯合索引的底層存儲是 先比較最前面的字段,最前面的字段一樣則比較第2個字段,第2個一樣才去比較第3個字段;第1個字段 name 去比較了,可以搜索到一部分, position 為 聯合索引的第3個字段,但是索引在存儲和查找時候不可能跳過第2個字段直接去比較第3個字段的,position 字段還是要列出大范圍的數據做查詢,因此 name 走了索引,position 沒有走索引。
3. 不在索引列上做任何操作(計算、函數、(自動or手動)類型轉換),會導致索引失效而轉向全表掃描
(1)不給索引列進行函數操作
EXPLAIN SELECT * FROM employees WHERE left(name,3) = 'LiLei';
一般來說,只要給索引列增加了函數操作,MySQL的底層直接就不會使用索引去處理的。
(2)給 hire_time 增加一個普通索引:
ALTER TABLE `employees` ADD INDEX `idx_hire_time` (`hire_time`) USING BTREE ;
EXPLAIN select * from employees where date(hire_time) ='2018-09-30'; #不會走索引
針對以上的SQL,轉化為日期范圍查詢,就會走索引:
EXPLAIN select * from employees where hire_time >='2018-09-30 00:00:00' and hire_time <='2018-09-30 23:59:59';
還原最初索引狀態
ALTER TABLE `employees` DROP INDEX `idx_hire_time`;
4.存儲引擎不能使用索引中范圍查找條件右邊的列
聯合索引的字段順序,范圍查找之后的列都不會去走索引;
EXPLAIN SELECT * FROM employees WHERE name= 'LiLei' AND age = 22 AND position ='manager'; #3個字段索引都會走 EXPLAIN SELECT * FROM employees WHERE name= 'LiLei' AND age > 22 AND position ='manager';
只會走前兩個字段的索引。 第一個字段 name 使用的相等,所以可以找到具體的數據,第2個字段會縮小到一個范圍,第3個字段是在這個范圍里做相等的查詢,還是會要將這個范圍去遍歷一遍的,所以只有 name,age 走了索引。
5.盡量使用覆蓋索引(只訪問索引的查詢(索引列包含查詢列)),減少select *語句
EXPLAIN SELECT name,age FROM employees WHERE name= 'LiLei' AND age = 23 AND position ='manager';
EXPLAIN SELECT * FROM employees WHERE name= 'LiLei' AND age = 23 AND position ='manager';
6. mysql在使用不等於(!=或者<>)的時候無法使用索引會導致全表掃描
EXPLAIN SELECT * FROM employees WHERE name != 'LiLei';
7. is null, is not null 也無法使用索引
建議在建立字段的時候都設置為 not null,設置一個默認的值;
EXPLAIN SELECT * FROM employees WHERE name is null
8. like以通配符開頭('$abc...')mysql索引失效會變成全表掃描操作
EXPLAIN SELECT * FROM employees WHERE name like '%Lei'
EXPLAIN SELECT * FROM employees WHERE name like 'Lei%'
模糊查找的時候,前模糊不走索引,后模糊會走索引;
因為在后模糊的時候,我們知道了這個字段的前面有幾個字符,我們在索引中比較的只去比較前面的幾個字符就好了;
問題:解決like '%字符串%'索引不被使用的方法?
(a)使用覆蓋索引,查詢字段必須是建立覆蓋索引字段
EXPLAIN SELECT name,age,position FROM employees WHERE name like '%Lei%';
(b)如果不能使用覆蓋索引則可能需要借助搜索引擎
9. 字符串不加單引號索引失效
EXPLAIN SELECT * FROM employees WHERE name = '1000'; #會走索引 EXPLAIN SELECT * FROM employees WHERE name = 1000; #不會走索引
因為 name 為字符串類型,MySql 會做隱式的類型轉換,做了類型的轉換,所以不會去走索引;
10.少用or或in,用它查詢時,mysql不一定使用索引,mysql內部優化器會根據檢索比例、表大小等多個因素整體評估是否使用索引,詳見范圍查詢優化
EXPLAIN SELECT * FROM employees WHERE name = 'LiLei' or name = 'HanMeimei';
11.范圍查詢優化
給年齡添加單值索引 : ALTER TABLE `employees` ADD INDEX `idx_age` (`age`) USING BTREE ;
explain select * from employees where age >=1 and age <=2000;
從執行計划的結果可以看出,以上的范圍查找不會走索引;
沒走索引原因:mysql內部優化器會根據檢索比例、表大小等多個因素整體評估是否使用索引。比如這個例子,可能是由於單次數據量查詢過大導致優化器最終選擇不走索引
優化方法:可以將大的范圍拆分成多個小范圍
explain select * from employees where age >=1 and age <=1000; explain select * from employees where age >=1001 and age <=2000;
還原最初索引狀態:ALTER TABLE `employees` DROP INDEX `idx_age`;
索引使用總結(一般情況下)
建立了一個聯合索引: (a, b,c)
like KK%相當於常量,所以走索引;%KK和%KK% 相當於范圍,所以不走索引;
沒走索引原因:mysql內部優化器會根據檢索比例、表大小等多個因素整體評估是否使用索引。比如這個例子,可能是由於單次數據量查詢過大導致優化器最終選擇不走索引優化方法:可以講大的范圍拆分成多個小范圍。
使用覆蓋索引的時候就會出現