前言
在傳統的系統應用程序中我們通常都會和數據庫建立連接進行數據的讀寫操作,為了減少連接數據庫造成的資源消耗於是有了數據庫連接緩沖池。在此基礎上,SQL 語句的優化對於研發人員也是非常重要的,高效的 SQL 語句經常會給使一個業務邏輯的接口響應速度變得非常快。所以本篇小編將主要從 SQL 語句的優化給出一些建議以及如何使用 SQL 語句里面的關鍵字等才能使 SQL 的執行效率相對提升,並且分享一份MySQL優化學習筆記,希望給研發人員在編寫 SQL 語句時能有一些幫助。
一、基礎數據准備
創建表並初始化一些基礎數據,便於后面SQL優化時使用, tbl_user 用戶表,tbl_userinfo用戶詳情表。
DROP TABLE IF EXISTS `tbl_user`;
CREATE TABLE `tbl_user` (
`id` int(11) NOT NULL AUTO_INCREMENT,
`username` varchar(255) DEFAULT NULL,
`email` varchar(20) DEFAULT NULL,
`age` tinyint(4) DEFAULT NULL,
`type` int(11) DEFAULT NULL,
`create_time` datetime DEFAULT NULL,
PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=10 DEFAULT CHARSET=utf8;
INSERT INTO `tbl_user` VALUES
('1', 'admin', 'admin@126.com', '18', '1', '2018-07-09 11:08:57'),
('2', 'mengday', 'mengday@163.com', '31', '2', '2018-07-09 11:09:00'),
('3', 'mengdee', 'mengdee@163.com', '20', '2', '2018-07-09 11:09:04'),
('4', 'root', 'root@163.com', '31', '1', '2018-07-09 14:36:19'),
('5', 'zhangsan', 'zhangsan@126.com', '20', '1', '2018-07-09 14:37:28'),
('6', 'lisi', 'lisi@gmail.com', '20', '1', '2018-07-09 14:37:31'),
('7', 'wangwu', 'wangwu@163.com', '18', '1', '2018-07-09 14:37:34'),
('8', 'zhaoliu', 'zhaoliu@163.com', '22', '1', '2018-07-11 18:29:24'),
('9', 'fengqi', 'fengqi@163.com', '19', '1', '2018-07-11 18:29:32');
DROP TABLE IF EXISTS `tbl_userinfo`;
CREATE TABLE `tbl_userinfo` (
`id` int(11) NOT NULL AUTO_INCREMENT,
`address` varchar(255) DEFAULT NULL,
`user_id` int(11) DEFAULT NULL,
PRIMARY KEY (`id`),
UNIQUE KEY `idx_userId` (`user_id`)
) ENGINE=InnoDB AUTO_INCREMENT=7 DEFAULT CHARSET=utf8;
INSERT INTO `tbl_userinfo` VALUES
('1', '上海市', '1'),
('2', '北京市', '2'),
('3', '杭州', '3'),
('4', '深圳', '4'),
('5', '廣州', '5'),
('6', '海南', '6');
二:五百萬數據插入
上面插入幾條測試數據,在使用索引時還需要插入更多的數據作為測試數據,下面就通過存儲過程插入500W條數據作為測試數據
-- 修改mysql默認的結束符號,默認是分號;但是在函數和存儲過程中會使用到分號導致解析不正確
delimiter $$
-- 隨機生成一個指定長度的字符串
create function rand_string(n int) returns varchar(255) begin
# 定義三個變量
declare chars_str varchar(100) default 'abcdefghijklmnopqrstuvwxyzABCDEFJHIJKLMNOPQRSTUVWXYZ';
declare return_str varchar(255) default '';
declare i int default 0;
while i < n do
set return_str = concat(return_str, substring(chars_str, floor(1+rand()*52), 1));
set i = i + 1;
end while;
return return_str;
end $$
-- 創建插入的存儲過程
create procedure insert_user(in start int(10), in max_num int(10))
begin
declare i int default 0;
set autocommit = 0;
repeat
set i = i + 1;
insert into tbl_user values ((start+i) ,rand_string(8), concat(rand_string(6), '@random.com'), 1+FLOOR(RAND()*100), 3, now());
until i = max_num
end repeat;
commit;
end $$
-- 將命令結束符修改回來
delimiter ;
-- 調用存儲過程,插入500萬數據,需要等待一會時間,等待執行完成
call insert_user(100001,5000000);
-- Query OK, 0 rows affected (7 min 49.89 sec) 我的Macbook Pro i5 8G內存用了8分鍾才執行完
select count(*) from tbl_user;
三:使用索引和不使用索引的比較
沒有添加索引前一個簡單的查詢用了1.79秒
創建索引,然后再查詢可以看到耗時0.00秒,這就是索引的威力
四:explain命令
explain命令用於查看sql執行時是否使用了索引,是優化SQL語句的一個非常常用而且非常重要的一個命令, 上面中的key字段表示查詢使用到的索引即使用了idx_username索引
- id: SELECT識別符。這是SELECT的查詢序列號
- select_type: 查詢類型simple: 簡單表即不適用表連接或者子查詢
- primary: 主查詢,即外層的查詢
- subquery: 子查詢內層第一個SELECT,結果不依賴於外部查詢
- dependent subquery: 子查詢內層第一個
- select: 依賴於外部查詢
- union: UNION語句中第二個SELECT開始后面所有SELECTunion result union 中合並結果DERIVED
- table:查詢的表
- partitionstype:掃描的方式,
- all表示全表掃描all : 全表掃描
- index: 掃描所有索引range: 索引范圍掃描,常見於< <=、>、>=、between、
- const: 表最多有一個匹配行, 常見於根據主鍵或唯一索引進行查詢
- system: 表僅有一行(=系統表)。
- 這是const聯接類型的一個特例refpossible_keys: 該查詢可以利用的索引,可能同一個查詢有多個索引可以使用,如果沒有任何索引顯示
- nullkey: 實際使用到的索引,從Possible_key中所選擇使用索引,當有多個索引時,mysql會挑出一個最優的索引來使用key_len: 被選中使用索引的索引長度ref:多表連接時的外鍵字段
- constrows: 估算出結果集行數,該sql語句掃描了多少行,可能得到的結果,MySQL認為它執行查詢時必須檢查的行數filtered
- Extra: 額外重要的信息no tables: Query語句中使用FROM DUAL 或不含任何FROM子句using
- filesort : 使用文件排序,最好能避免這種情況Using temporary: 某些操作必須使用臨時表,常見 GROUP BY ;
- ORDER BYUsing where: 不用讀取表中所有信息,僅通過索引就可以獲取所需數據;Using join buffer
查看索引的使用情況: show status like 'Handler_read%'; Handlerreadkey: 越高越好 Handlerreadrnd_next:越低越好
查詢優化器:
重新定義表的關聯順序(優化器會根據統計信息來決定表的關聯順序)將外連接轉化成內連接(當外連接等於內連接)使用等價變換規則(如去掉1=1)優化count()、min()、max()子查詢優化提前終止查詢in條件優化mysql可以通過 EXPLAIN EXTENDED 和 SHOW WARNINGS 來查看mysql優化器改寫后的sql語句
五:走索引的情況和不走索引的情況
1. in走索引
in操作能避免則避免,若實在避免不了,需要仔細評估in后邊的集合元素數量,控制在1000個之內。
2. 范圍查詢走索引
3. 模糊查詢只有左前綴使用索引
4. 反向條件不走索引 != 、 <> 、 NOT IN、IS NOT NULL
# 常見的對not in的優化,使用左連接加上is null的條件過濾
SELECT id, username, age FROM tbl_user WHERE id NOT IN (SELECT user_id FROM tbl_order);
SELECT
u.id, u.username, u.age
FROM tbl_user u
LEFT JOIN tbl_order o ON u.id = o.user_id
WHERE o.user_id IS NULL;
5. 對條件計算(使用函數或者算數表達式)不走索引
使用函數計算不走索引,無論是對字段使用了函數還是值使用了函數都不走索引,解決辦法通過應用程序計算好,將計算的結果傳遞給sql,而不是讓數據庫去計算
id是主鍵,id/10使用了算數表達式不走索引
6. 查詢時必須使用正確的數據類型
如果索引字段是字符串類型,那么查詢條件的值必須使用引號,否則不走索引
7. or 使用索引和不使用索引的情況
or 只有兩邊都有索引才走索引,如果都沒有或者只有一個是不走索引的,MySQL優化面試實戰真題分享。