阿里P8架構師談:MySQL慢查詢優化、索引優化、以及表等優化總結


更多內容:https://www.toutiao.com/i6599796228886626829/?tt_from=weixin&utm_campaign=client_share&wxshare_count=1&timestamp=1542253804&app=news_article&utm_source=weixin&iid=50908871866&utm_medium=toutiao_android&group_id=6599796228886626829

MySQL優化概述

MySQL數據庫常見的兩個瓶頸是:CPU和I/O的瓶頸。

CPU在飽和的時候一般發生在數據裝入內存或從磁盤上讀取數據時候。

磁盤I/O瓶頸發生在裝入數據遠大於內存容量的時候,如果應用分布在網絡上,那么查詢量相當大的時候那么平瓶頸就會出現在網絡上。

我們可以用mpstat, iostat, sar和vmstat來查看系統的性能狀態。除了服務器硬件的性能瓶頸,對於MySQL系統本身,我們可以使用工具來優化數據庫的性能。

MySQL優化方案

Mysql的優化,大體可以分為三部分:索引的優化,sql語句的優化,表的優化

阿里P8架構師談:MySQL慢查詢優化、索引優化、以及表等優化總結

 

索引優化

1.索引

一般的應用系統,讀寫比例在10:1左右,而且插入操作和一般的更新操作很少出現性能問題,在生產環境中,我們遇到最多的也是最容易出現問題的,還是一些復雜的查詢操作,因此對查詢語句的優化是重中之重,加速查詢最好的方法就是索引。

索引:簡單的說,相當於圖書的目錄,可以幫助用戶快速的找到需要的內容。

在MySQL中也叫做“鍵”,是存儲引擎用於快速找到記錄的一種數據結構。能夠大大提高查詢效率。特別是當數據量非常大,查詢涉及多個表時,使用索引往往能使查詢速度加快成千上萬倍。

總結:索引的目的在於提高查詢效率,與我們查詢圖書所用的目錄是一個道理:先定位到章,然后定位到該章下的一個小結,然后找到頁數。相似的例子還有:查字典,查地圖等。

2.索引類型

  • 普通索引

是最基本的索引,它沒有任何限制。

  • 唯一索引
與前面的普通索引類似,不同的就是:索引列的值必須唯一,但允許有空值。如果是組合索引,則列值的組合必須唯一。
  • 組合索引
指多個字段上創建的索引,只有在查詢條件中使用了創建索引時的第一個字段,索引才會被使用。
  • 主鍵索引

是一種特殊的唯一索引,一個表只能有一個主鍵,不允許有空值。一般是在建表的時候同時創建主鍵索引

  • 全文索引

主要用來查找文本中的關鍵字,而不是直接與索引中的值相比較。fulltext索引跟其它索引大不相同,它更像是一個搜索引擎,而不是簡單的where語句的參數匹配。fulltext索引配合match against操作使用,而不是一般的where語句加like。它可以在create table,alter table ,create index使用,不過目前只有char、varchar,text 列上可以創建全文索引。值得一提的是,在數據量較大時候,現將數據放入一個沒有全局索引的表中,然后再用CREATE index創建fulltext索引,要比先為一張表建立fulltext然后再將數據寫入的速度快很多。

3.索引優化

  • 只要列中含有NULL值,就最好不要在此例設置索引,復合索引如果有NULL值,此列在使用時也不會使用索引
  • 盡量使用短索引,如果可以,應該制定一個前綴長度
  • 對於經常在where子句使用的列,最好設置索引,這樣會加快查找速度
  • 對於有多個列where或者order by子句的,應該建立復合索引
  • 對於like語句,以%或者‘-’開頭的不會使用索引,以%結尾會使用索引
  • 盡量不要在列上進行運算(函數操作和表達式操作)
  • 盡量不要使用not in和<>操作

 

SQL慢查詢的優化

阿里P8架構師談:MySQL慢查詢優化、索引優化、以及表等優化總結

 

1.如何捕獲低效sql

1)slow_query_log

這個參數設置為ON,可以捕獲執行時間超過一定數值的SQL語句。

2)ong_query_time

當SQL語句執行時間超過此數值時,就會被記錄到日志中,建議設置為1或者更短。

3)slow_query_log_file

記錄日志的文件名。

4)log_queries_not_using_indexes

這個參數設置為ON,可以捕獲到所有未使用索引的SQL語句,盡管這個SQL語句有可能執行得挺快。

2.慢查詢優化的基本步驟

1)先運行看看是否真的很慢,注意設置SQL_NO_CACHE

2)where條件單表查,鎖定最小返回記錄表。這句話的意思是把查詢語句的where都應用到表中返回的記錄數最小的表開始查起,單表每個字段分別查詢,看哪個字段的區分度最高

3)explain查看執行計划,是否與1預期一致(從鎖定記錄較少的表開始查詢)

4)order by limit 形式的sql語句讓排序的表優先查

5)了解業務方使用場景

6)加索引時參照建索引的幾大原則

7)觀察結果,不符合預期繼續從1開始分析

2.優化原則

  • 查詢時,能不要*就不用*,盡量寫全字段名
  • 大部分情況連接效率遠大於子查詢
  • 多使用explain和profile分析查詢語句
  • 查看慢查詢日志,找出執行時間長的sql語句優化
  • 多表連接時,盡量小表驅動大表,即小表 join 大表
  • 在千萬級分頁時使用limit
  • 對於經常使用的查詢,可以開啟緩存

數據庫表優化

  • 表的字段盡可能用NOT NULL
  • 字段長度固定的表查詢會更快
  • 把數據庫的大表按時間或一些標志分成小表
  • 將表拆分

數據表拆分:主要就是垂直拆分和水平拆分。

水平切分:將記錄散列到不同的表中,各表的結構完全相同,每次從分表中查詢, 提高效率。

垂直切分:將表中大字段單獨拆分到另外一張表, 形成一對一的關系。

總之:

Mysql的優化主要就在於:索引的優化,sql語句的優化,表的優化,在高並發網絡環境下,除了優化數據庫外,還會涉及到分布式緩存,CDN,數據庫讀寫分離等高並發優化技術。

以上就是MySQL的優化技術方案,以下是最新阿里P8架構師談架構設計系列。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM