MySql sql優化實例

記錄一次在工作中遇到sql優化實例：

　　mysql優化一直是工作中一個非常普遍的問題，我們工作中會不可避免的遇到需要根據業務去寫一些比較復雜的sql語句，或者更多的呢，是我們在新接手一個項目后，尤其是一些特別老的業務系統，經常會遇到一些查詢非常慢的問題。這時候就需要我們去想辦法來改善我們的查詢方式，來提高我們的查詢效率；

前提：

　　目前我基於的存儲引擎為INNODB

　　

　　我們在開始之前先得理解，

　　一、我們mysql中的數據最終是存儲在磁盤上，而內存與磁盤之間的交互速度是受限制的，除非物理上提升；所以我們要優化sql查詢的速度，只能從兩個方面入手：

　　　　1、減少io次數

　　　　2、減少i0數據量

　　二、我們要理解innodb的索引使用的是B+Tree的數據結構，它的特點是數據是存儲在葉子節點的（MyISAM data節點存儲的是數據記錄的地址，因為innodb是聚集索引,MyISAM是非聚集索引...），盜用一張網圖：

 

 

 　　主鍵索引：data存放的是數據

　　 輔助索引：data存放的是主鍵值

 

　　我遇到的問題：項目合同審核列表需要獲取最新審核記錄對應信息，需要檢索的數據在3個業務表中

　　剛剛接手時，翻了下前人根據當前業務書寫的sql語句：

SELECT
            pp.user_center_id,
            pp.userCenterId,
            pp.provider_id,
            pp.name_cn,
            pp.id,
            pp.contract_name,
            pp.begin_date,
            pp.end_date,
            pp.auto_extend,
            pp.reject_reason,
            pp.auditing_status,
            pp.created_time,
            pp.contract_pdf_path,
            pp.contract_version
        FROM
        (
            SELECT
                p.user_center_id AS user_center_id,
                ca.user_center_id AS userCenterId,
                c.provider_id AS provider_id,
                p.name_cn AS name_cn,
                c.id AS id,
                c.contract_name AS contract_name,
                c.begin_date AS begin_date,
                c.end_date AS end_date,
                c.auto_extend AS auto_extend,
                ca.reject_reason AS reject_reason,
                ca.auditing_status AS auditing_status,
                ca.created_time AS created_time,
                c.contract_pdf_path,
                p.agent_type,
                p.photographer_type,
                c.contract_version
            FROM
                contract c
            LEFT JOIN provider p ON c.provider_id = p.id
            LEFT JOIN
                (SELECT cca.user_center_id,cca.reject_reason,cca.auditing_status,created_time FROM contract_application cca WHERE CONCAT(cca.user_center_id,cca.created_time) in(
                SELECT CONCAT(m.user_center_id,m.comparetime) FROM(
                SELECT user_center_id,MAX(created_time) comparetime FROM contract_application GROUP BY user_center_id) m)
                ) ca ON ca.user_center_id = p.user_center_id
            WHERE
                p.photographer_type = '1'
                AND c.contract_version IN ('1', '0','3')
) pp

　　執行時間1.849s

　　我查看一下當前語句的執行計划：EXPLAIN 

 

 

 　  很完美的語句....

　　EXPLAIN我們大體了解一下：

　　　　id:執行sql或操作表的順序；id相同，執行順序從上往下；id不同，id值越大，優先級越高，越先執行；

　　　　select_type:查詢類型；

　　　　　　1、simple 簡單的select查詢，查詢中不包含子查詢或者union

　　　　　　2、primary 查詢中若包含任何復雜的子部分，最外層查詢被標記

　　　　　　3、subquery 在select或where列表中包含了子查詢

　　　　　　4、derived 在在from列表中包含的子查詢被標記為derived（衍生），MySQL會遞歸執行這些子查詢，把結果放到臨時表中

　　　　　　5、union 如果第二個select出現在UNION之后，則被標記為UNION，如果union包含在from子句的子查詢中，外層select被標記為derived

　　　　　　6、union result UNION 的結果

　　　　table:輸出行引用的表

　　　　type:聯結類型，顯示查詢使用了何種類型

　　　　　　1、system 表中僅有一行記錄（等於系統表），這是const類型的特列，平時不會出現，這個也可以忽略不計

　　　　　　2、const 表示通過索引一次就找到了，const用於比較primary key 或者unique索引。因為只匹配一行數據，所以很快。如將主鍵置於where列表中，MySQL就能將該查詢轉換為一個常量。

　　　　　　3、eq_ref 唯一性索引掃描，對於每個索引鍵，表中只有一條記錄與之匹配。常見於唯一索引或者主鍵掃描

　　　　　　4、ref 非唯一性索引掃描，返回匹配某個單獨值的所有行，本質上也是一種索引訪問，它返回所有匹配某個單獨值的行，可能會找多個符合條件的行，屬於查找和掃描的混合體

　　　　　　5、range 只檢索給定范圍的行，使用一個索引來選擇行。key列顯示使用了哪個索引，一般就是where語句中出現了between,in等范圍的查詢。這種范圍掃描索引掃描比全表掃描要好，因為它開始於索引的某一個點，而結束另一個點，不用全表掃描

　　　　　　6、index 遍歷索引樹

　　　　　　7、all 遍歷全表匹配

　　　　possible_keys:可能用到的這張表的索引，但實際查詢不一定被用到

　　　　key: 實際使用的索引。如果沒有選擇索引,鍵是NULL。查詢中如果使用覆蓋索引，則該索引和查詢的select字段重疊;

　　　　key_len:表示索引中使用的字節數

　　　　ref: 顯示索引的哪一列被使用了

　　　　rows：根據表統計信息及索引選用情況，大致估算出 找到所需記錄 需要讀取的行數；

　　　　extra:

　　　　　　1、Using filesort mysql對數據使用了一個外部的索引排序，而不是按照表內的索引順序進行讀取。Mysql中無法利用索引完成的排序操作稱為“文件排序”。

　　　　　　2、Using temporary 使用臨時表保存中間結果，mysql在對查詢結果排序時使用臨時表。常見於排序order by和分組查詢group by。

　　　　　　3、Using index 表示響應的select操作中使用了索引覆蓋，避免訪問了表的數據行，效率不錯。如果同時出現using where，表明索引被用來執行索引鍵值的查找；如果沒有同時出現using where，表明索引用來讀取數據而非執行查找動作。

　　　　　　4、Using where 表明使用了where過濾

　　　　　　5、using join buffer 使用了連接緩存

　　　　　　6、impossible where where子句的值總是false，不能用來獲取任何元組

　　　　　　7、select tables optimized away 在沒有group by子句的情況下，基於索引優化Min、max操作或者對於MyISAM存儲引擎優化count（*），不必等到執行階段再進行計算，查詢執行計划生成的階段即完成優化；

　　　　　　8、distinct 優化distinct操作，在找到第一匹配的元組后即停止找同樣值的動作；

　　我先把sql語句拆解一下，分析一下：

　　1、先來啃這一塊，當前子查詢消耗時間：776ms

 　　這是干啥的呢？主要是查詢contract_application表中每個用戶的最新記錄的相關信息；這里可以看出多用了好多次子查詢，我們繼續拆解一下：

　　a、

SELECT user_center_id,MAX(created_time),reject_reason,auditing_status FROM contract_application GROUP BY user_center_id

　　 598ms

　　

　　我們看一下執行計划：

EXPLAIN SELECT user_center_id,MAX(created_time) comparetime FROM contract_application GROUP BY user_center_id

 

　　沒有索引，直接全文檢索，我准備給當前表的user_center_id,created_time加個聯合索引,因為當前主要以這兩個字段做判斷查詢

　　

 

 　　再次執行a步驟的執行計划,可以看到當前該語句已通過索引樹進行了查詢，耗時從:598ms -> 401ms

 

 　　

　　b、當前子查詢用了多次子查詢，我准備調整一下sql,先來看下當前子查詢的執行計划：

EXPLAIN SELECT cca.user_center_id,cca.reject_reason,cca.auditing_status,created_time FROM contract_application cca WHERE CONCAT(cca.user_center_id,cca.created_time) in(
                SELECT CONCAT(m.user_center_id,m.comparetime) FROM(
                SELECT user_center_id,MAX(created_time) comparetime FROM contract_application GROUP BY user_center_id) m)

 

 　　調整sql，耗時

SELECT user_center_id,reject_reason,auditing_status,MAX(created_time) created_time FROM contract_application GROUP BY user_center_id

EXPLAIN SELECT user_center_id,reject_reason,auditing_status,MAX(created_time) created_time FROM contract_application GROUP BY user_center_id

 

 　　調整后子查詢從776ms->424ms；

　　

　　c、這時候我們更新后的語句就變成了　

SELECT
            pp.user_center_id,
            pp.userCenterId,
            pp.provider_id,
            pp.name_cn,
            pp.id,
            pp.contract_name,
            pp.begin_date,
            pp.end_date,
            pp.auto_extend,
            pp.reject_reason,
            pp.auditing_status,
            pp.created_time,
            pp.contract_pdf_path,
            pp.contract_version
        FROM
        (
            SELECT
                p.user_center_id AS user_center_id,
                ca.user_center_id AS userCenterId,
                c.provider_id AS provider_id,
                p.name_cn AS name_cn,
                c.id AS id,
                c.contract_name AS contract_name,
                c.begin_date AS begin_date,
                c.end_date AS end_date,
                c.auto_extend AS auto_extend,
                ca.reject_reason AS reject_reason,
                ca.auditing_status AS auditing_status,
                ca.created_time AS created_time,
                c.contract_pdf_path,
                p.agent_type,
                p.photographer_type,
                c.contract_version
            FROM
                contract c
            LEFT JOIN provider p ON c.provider_id = p.id
            LEFT JOIN
                (SELECT user_center_id,reject_reason,auditing_status,MAX(created_time) created_time FROM contract_application GROUP BY user_center_id) ca ON ca.user_center_id = p.user_center_id
            WHERE
                p.photographer_type = '1'
                AND c.contract_version IN ('1', '0','3')
) pp;

　查看執行計划

　

 

 可以看到其實該語句外層沒必要再次套一層子查詢了，可以去掉，調整sql

SELECT
                p.user_center_id AS user_center_id,
                ca.user_center_id AS userCenterId,
                c.provider_id AS provider_id,
                p.name_cn AS name_cn,
                c.id AS id,
                c.contract_name AS contract_name,
                c.begin_date AS begin_date,
                c.end_date AS end_date,
                c.auto_extend AS auto_extend,
                ca.reject_reason AS reject_reason,
                ca.auditing_status AS auditing_status,
                ca.created_time AS created_time,
                c.contract_pdf_path,
                p.agent_type,
                p.photographer_type,
                c.contract_version
            FROM
                contract c
            LEFT JOIN provider p ON c.provider_id = p.id
            LEFT JOIN
                (SELECT user_center_id,reject_reason,auditing_status,MAX(created_time) created_time FROM contract_application GROUP BY user_center_id) ca ON ca.user_center_id = p.user_center_id
            WHERE
                p.photographer_type = '1'
                AND c.contract_version IN ('1', '0','3')

查看執行計划

 

整體耗時從1.849s->1.177s

 

由於業務原因，在不改變業務需求的請求，目前還沒想更加優化的方案，如果有大佬有啥好的建議，可以給點優化建議；非常感謝~

 

 

 　　

　　

const