1.MySQL 索引
MySQL索引的建立對於MySQL的高效運行是很重要的,索引可以大大提高MySQL的檢索速度。
打個比方,如果合理的設計且使用索引的MySQL是一輛蘭博基尼的話,那么沒有設計和使用索引的MySQL就是一個人力三輪車。
拿漢語字典的目錄頁(索引)打比方,我們可以按拼音、筆畫、偏旁部首等排序的目錄(索引)快速查找到需要的字。
索引分單列索引和組合索引。單列索引,即一個索引只包含單個列,一個表可以有多個單列索引,但這不是組合索引。組合索引,即一個索引包含多個列。
創建索引時,你需要確保該索引是應用在 SQL 查詢語句的條件(一般作為 WHERE 子句的條件)。
實際上,索引也是一張表,該表保存了主鍵與索引字段,並指向實體表的記錄。
上面都在說使用索引的好處,但過多的使用索引將會造成濫用。因此索引也會有它的缺點:雖然索引大大提高了查詢速度,同時卻會降低更新表的速度,如對表進行INSERT、UPDATE和DELETE。因為更新表時,MySQL不僅要保存數據,還要保存一下索引文件。
建立索引會占用磁盤空間的索引文件。
2.索引類型
Mysql目前主要有以下幾種索引類型:FULLTEXT,HASH,BTREE,RTREE。
1. FULLTEXT
FULLTEXT即為全文索引,目前只有MyISAM引擎支持。其可以在CREATE TABLE ,ALTER TABLE ,CREATE INDEX 使用,不過目前只有 CHAR、VARCHAR ,TEXT 列上可以創建全文索引。
全文索引並不是和MyISAM一起誕生的,它的出現是為了解決WHERE name LIKE “%word%"這類針對文本的模糊查詢效率較低的問題。
2. HASH
由於HASH的唯一(幾乎100%的唯一)及類似鍵值對的形式,很適合作為索引。
HASH索引可以一次定位,不需要像樹形索引那樣逐層查找,因此具有極高的效率。但是,這種高效是有條件的,即只在“=”和“in”條件下高效,對於范圍查詢、排序及組合索引仍然效率不高。
3. BTREE
BTREE索引就是一種將索引值按一定的算法,存入一個樹形的數據結構中(二叉樹),每次查詢都是從樹的入口root開始,依次遍歷node,獲取leaf。這是MySQL里默認和最常用的索引類型。
4. RTREE
RTREE在MySQL很少使用,僅支持geometry數據類型,支持該類型的存儲引擎只有MyISAM、BDb、InnoDb、NDb、Archive幾種。相對於BTREE,RTREE的優勢在於范圍查找。ps. 此段詳細內容見此片博文:Mysql幾種索引類型的區別及適用情況
3.索引種類
普通索引:僅加速查詢
唯一索引:加速查詢 + 列值唯一(可以有null)
主鍵索引:加速查詢 + 列值唯一(不可以有null)+ 表中只有一個組合索引:多列值組成一個索引,專門用於組合搜索,其效率大於索引合並
全文索引:對文本的內容進行分詞,進行搜索
ps.
索引合並,使用多個單列索引組合搜索
覆蓋索引,select的數據列只用從索引中就能夠取得,不必讀取數據行,換句話說查詢列要被所建的索引覆蓋
4.操作索引
1. 創建索引
1 --創建普通索引 2 CREATE INDEX index_name ON table_name(col_name); 3 --創建唯一索引 4 CREATE UNIQUE INDEX index_name ON table_name(col_name); 5 --創建普通組合索引 6 CREATE INDEX index_name ON table_name(col_name_1,col_name_2); 7 --創建唯一組合索引 8 CREATE UNIQUE INDEX index_name ON table_name(col_name_1,col_name_2);
2. 通過修改表結構創建索引
ALTER TABLE table_name ADD INDEX index_name(col_name);
3. 創建表時直接指定索引
1 CREATE TABLE table_name ( 2 ID INT NOT NULL, 3 col_name VARCHAR (16) NOT NULL, 4 INDEX index_name (col_name) 5 );
4. 刪除索引
1 --直接刪除索引DROP INDEX index_name ON table_name; 2 --修改表結構刪除索引ALTER TABLE table_name DROP INDEX index_name;
5. 其它相關命令
1 - 查看表結構 2 desc table_name; 3 - 查看生成表的SQL 4 show create table table_name; 5 - 查看索引 6 show index from table_name; 7 - 查看執行時間 8 set profiling = 1; 9 SQL... 10 show profiles; 11 12 show profile for query 1 即可查看第1個sql語句的執行的各個操作的耗時詳情。
5.索引的優缺點以及建立索引的時機
到這里我們已經學會了建立索引,那么我們需要在什么情況下建立索引呢?一般來說,在WHERE和JOIN中出現的列需要建立索引,但也不完全如此,因為MySQL只對<,<=,=,>,>=,BETWEEN,IN,以及某些時候的LIKE才會使用索引。例如:
SELECT t.Name FROM mytable_t LEFT JOIN mytable_m ON t.Name=m.username WHERE m.age=20 AND m.city='鄭州' ;
此時就需要對city和age建立索引,由於mytable_m表的userame也出現在了JOIN子句中,也有對它建立索引的必要。剛才提到只有某些時候的LIKE才需建立索引。因為在以通配符%和_開頭作查詢時,MySQL不會使用索引。
建立索引的優點
1、可以通過建立唯一性索引,可以保證數據庫表中數據的唯一性
2、可以加快數據的檢索速度
3、可以加速表與表之間的連接
4、在使用分表和排序子句進行數據檢索時,可以減少查詢中分組和排序的時間
建立索引的缺點
1、索引的創建之后當然需要維護,因此索引的創建和維護要耗費時間。數據量越大,需要耗費的時間也就越多
2、索引需要占用額外的物理空間
3、當對表中的數據進行增加、刪除、修改時,索引也需要動態的維護,這樣一來速度會降低。
在查詢時候,如果不加索引的話很簡單的一個條件可能就需要全表掃描,數據庫中建立合適的索引會大大提高效率,
什么情況下適合建索引
1、在經常需要搜索的列上建索引,這樣會大大加快查找速度、
2、在經常使用在where子句中的列上建索引,加快條件的判斷速度。
3、在經常需要連接的列上,可以加快連接的速度。
4、在經常需要排序的列上,因為索引已經是排過序的,這樣一來可以利用索引的排序,加快排序查詢時間。
5、在經常需要進行范圍搜索的列上,同樣,因為索引是排序的,指定范圍則為連續的。
實踐告訴我們,建立索引可以大大提高sql的性能:http://blog.csdn.net/wj1607162253/article/details/77483558
那是不是在數據庫表字段中盡量多建索引呢?肯定是不是的。因為索引的建立和維護都是需要耗時的。
什么情況下不適合建立索引
1、在查詢中很少用到的列。
2、那些只有很少數據值得列,如性別。建索引不僅沒有什么優勢,反而會影響更新速度。
3、那些定義為text等大的字段上。因為這些列的數據量要么相當大,要么取值很少。
6.索引命中(索引的失效情況)
數據庫表中添加索引后確實會讓查詢速度起飛,但前提必須是正確的使用索引來查詢,如果以錯誤的方式使用,則即使建立索引也會不奏效。即使建立索引,索引也不會生效:
1 - like '%xx' 2 select * from tb1 where name like '%cn'; 3 4 - 使用函數 5 select * from tb1 where reverse(name) = 'wupeiqi'; 6 7 - or 8 select * from tb1 where nid = 1 or email = 'seven@live.com'; 9 10 特別的:當or條件中有未建立索引的列才失效,以下會走索引 11 select * from tb1 where nid = 1 or name = 'seven'; 12 select * from tb1 where nid = 1 or email = 'seven@live.com' and name = 'alex' 13 14 - 類型不一致 如果列是字符串類型,傳入條件是必須用引號引起來,不然... 15 select * from tb1 where name = 999;- != 16 select * from tb1 where name != 'alex' 17 18 特別的:如果是主鍵,則還是會走索引 19 select * from tb1 where nid != 123- > 20 select * from tb1 where name > 'alex' 21 22 特別的:如果是主鍵或索引是整數類型,則還是會走索引 23 select * from tb1 where nid > 123 24 select * from tb1 where num > 123- order by 25 select email from tb1 order by name desc; 26 27 當根據索引排序時候,選擇的映射如果不是索引,則不走索引 28 特別的:如果對主鍵排序,則還是走索引: 29 select * from tb1 order by nid desc; 30 31 - 組合索引最左前綴 32 如果組合索引為:(name,email) name and email 33 -- 使用索引 name 34 -- 使用索引 email 35 -- 不使用索引
什么時候沒用
1.有or必全有索引;
2.復合索引未用左列字段;
3.like以%開頭;
4.需要類型轉換;
5.where中索引列有運算;
6.where中索引列使用了函數;
7.如果mysql覺得全表掃描更快時(數據少);
什么時沒必要用
1.唯一性差;
2.頻繁更新的字段不用(更新索引消耗);
3.where中不用的字段;
4.索引使用<>時,效果一般;
詳情可參考: https://www.cnblogs.com/liehen2046/p/11052666.html
others 情況索引失效:https://www.cnblogs.com/yunliu0603/p/12869506.html
七、其它注意事項
- 避免使用select *- count(1)或count(列) 代替 count(*)- 創建表時盡量時 char 代替 varchar- 表的字段順序固定長度的字段優先- 組合索引代替多個單列索引(經常使用多個條件查詢時)- 盡量使用短索引- 使用連接(JOIN)來代替子查詢(Sub-Queries)- 連表時注意條件類型需一致- 索引散列值(重復多)不適合建索引,例:性別不適合
八、LIMIT分頁
若需求是每頁顯示10條數據,如何建立分頁?
我們可以先使用LIMIT嘗試:
--第一頁SELECT * FROM table_name LIMIT 0,10;--第二頁SELECT * FROM table_name LIMIT 10,10;--第三頁SELECT * FROM table_name LIMIT 20,10;
但是這樣做有如下弊端:
- 每一條select語句都會從1遍歷至當前位置,若跳轉到第100頁,則會遍歷1000條記錄
- 若記錄的id不連續,則會出錯
改善:
若已知每頁的max_id和min_id,則可以通過主鍵索引來快速定位:
--下一頁SELECT * FROM table_name WHERE id in (SELECT id FROM table_name WHERE id > max_id LIMIT 10);--上一頁SELECT * FROM table_name WHERE id in (SELECT id FROM table_name WHERE id < min_id ORDER BY id DESC LIMIT 10);--當前頁之后的某一頁SELECT * FROM table_name WHERE id in (SELECT id FROM (SELECT id FROM (SELECT id FROM table_name WHERE id < min_id ORDER BY id desc LIMIT (頁數差*10)) AS N ORDER BY N.id ASC LIMIT 10) AS P ORDER BY P.id ASC);--當前頁之前的某一頁SELECT * FROM table_name WHERE id in (SELECT id FROM (SELECT id FROM (SELECT id FROM table_name WHERE id > max_id LIMIT (頁數差*10)) AS N ORDER BY N.id DESC LIMIT 10) AS P) ORDER BY id ASC;
九、執行計划
explain + 查詢SQL - 用於顯示SQL執行信息參數,根據參考信息可以進行SQL優化
1 mysql> explain select * from tb2; 2 +----+-------------+-------+------+---------------+------+---------+------+------+-------+ 3 | id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra |+----+-------------+-------+------+---------------+------+---------+------+------+-------+ 4 | 1 | SIMPLE | tb2 | ALL | NULL | NULL | NULL | NULL | 2 | NULL |+----+-------------+-------+------+---------------+------+---------+------+------+-------+ 5 1 row in set (0.00 sec)
1 id查詢順序標識 如:mysql> explain select * from (select nid,name from tb1 where nid < 10) as B;+----+-------------+------------+-------+---------------+---------+---------+------+------+-------------+| id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra |+----+-------------+------------+-------+---------------+---------+---------+------+------+-------------+| 1 | PRIMARY | <derived2> | ALL | NULL | NULL | NULL | NULL | 9 | NULL || 2 | DERIVED | tb1 | range | PRIMARY | PRIMARY | 8 | NULL | 9 | Using where |+----+-------------+------------+-------+---------------+---------+---------+------+------+-------------+ 特別的:如果使用union連接其值可能為null select_type 查詢類型 SIMPLE 簡單查詢PRIMARY 最外層查詢 SUBQUERY 映射為子查詢 DERIVED 子查詢UNION 聯合UNION RESULT 使用聯合的結果 ...table正在訪問的表名 type 查詢時的訪問方式,性能:all < index < range < index_merge < ref_or_null < ref < eq_ref < system/constALL 全表掃描,對於數據表從頭到尾找一遍select * from tb1; 特別的:如果有limit限制,則找到之后就不再繼續向下掃描 select * from tb1 where email = 'seven@live.com' select * from tb1 where email = 'seven@live.com' limit 1; 雖然上述兩個語句都會進行全表掃描,第二句使用了limit,則找到一個后就不再繼續掃描。INDEX 全索引掃描,對索引從頭到尾找一遍select nid from tb1; RANGE 對索引列進行范圍查找select * from tb1 where name < 'alex'; PS:between andin> >= < <= 操作 注意:!= 和 > 符號 INDEX_MERGE 合並索引,使用多個單列索引搜索select * from tb1 where name = 'alex' or nid in (11,22,33); REF 根據索引查找一個或多個值select * from tb1 where name = 'seven'; EQ_REF 連接時使用primary key 或 unique類型select tb2.nid,tb1.name from tb2 left join tb1 on tb2.nid = tb1.nid; CONST 常量 表最多有一個匹配行,因為僅有一行,在這行的列值可被優化器剩余部分認為是常數,const表很快,因為它們只讀取一次。select nid from tb1 where nid = 2 ; SYSTEM 系統 表僅有一行(=系統表)。這是const聯接類型的一個特例。select * from (select nid from tb1 where nid = 1) as A; possible_keys 可能使用的索引key真實使用的 key_len MySQL中使用索引字節長度 rows mysql估計為了找到所需的行而要讀取的行數 ------ 只是預估值extra 該列包含MySQL解決查詢的詳細信息 “Using index” 此值表示mysql將使用覆蓋索引,以避免訪問表。不要把覆蓋索引和index訪問類型弄混了。 “Using where” 這意味着mysql服務器將在存儲引擎檢索行后再進行過濾,許多where條件里涉及索引中的列,當(並且如果)它讀取索引時,就能被存儲引擎檢驗,因此不是所有帶where子句的查詢都會顯示“Using where”。有時“Using where”的出現就是一個暗示:查詢可受益於不同的索引。 “Using temporary” 這意味着mysql在對查詢結果排序時會使用一個臨時表。 “Using filesort” 這意味着mysql會對結果使用一個外部索引排序,而不是按索引次序從表里讀取行。mysql有兩種文件排序算法,這兩種排序方式都可以在內存或者磁盤上完成,explain不會告訴你mysql將使用哪一種文件排序,也不會告訴你排序會在內存里還是磁盤上完成。 “Range checked for each record(index map: N)” 這個意味着沒有好用的索引,新的索引將在聯接的每一行上重新估算,N是顯示在possible_keys列中索引的位圖,並且是冗余的。
上表詳解
十、慢查詢日志
MySQL的慢查詢日志是MySQL提供的一種日志記錄,它用來記錄在MySQL中響應時間超過閥值的語句,具體指運行時間超過long_query_time值的SQL,則會被記錄到慢查詢日志中。long_query_time的默認值為10,意思是運行10S以上的語句。默認情況下,MySQLl數據庫並不啟動慢查詢日志,需要我們手動來設置這個參數,當然,如果不是調優需要的話,一般不建議啟動該參數,因為開啟慢查詢日志會或多或少帶來一定的性能影響。慢查詢日志支持將日志記錄寫入文件,也支持將日志記錄寫入數據庫表。
1. 查看慢日志參數:
--查詢配置命令show variables like '%query%';--當前配置參數binlog_rows_query_log_events OFFft_query_expansion_limit 20have_query_cache YES--時間限制,超過此時間,則記錄long_query_time 10.000000query_alloc_block_size 8192query_cache_limit 1048576query_cache_min_res_unit 4096query_cache_size 1048576query_cache_type OFFquery_cache_wlock_invalidate OFFquery_prealloc_size 8192--是否開啟慢日志記錄slow_query_log OFF--日志文件slow_query_log_file D:\Program Files (x86)\mysql-5.7.18-winx64\data\Jack-slow.log--
2. 修改當前配置
set global 變量名 = 值;--例如,修改時間限制為20slong_query_time = 20;
ps.也可以直接打開慢日志配置文件進行修改,但必須重啟服務才能生效
3. 查看MySQL慢日志
mysqldumpslow -s at -a /usr/local/var/mysql/MacBook-Pro-3-slow.log
"""--verbose 版本--debug 調試--help 幫助 -v 版本-d 調試模式-
MySQL 面試題 24 問 :https://zhuanlan.zhihu.com/p/93170092
mysql 優化:https://blog.csdn.net/wj1607162253/article/details/77483558
深入理解索引:https://blog.csdn.net/tongdanping/article/details/79878302