MySQL調優1---性能監控


show profile查詢剖析工具

show profiles默認是關閉的

show variables like 'profiling';--查看參數狀態,0或OFF表示關閉(默認模式)。1或ON表示開啟
set profiling=1;--打開show profiles

show profiles可以查詢SQL語句執行消耗資源的詳細信息。

show profiles

show profile可以對SQL語句進行分析,查看每部分的執行情況。

show profile for query 1;--1是上面show profiles執行結果的id

show profile后面常用的查詢參數:
  1.all:顯示所有性能信息
  2.block io:顯示塊io操作的次數
  3.context switches:顯示上下文切換次數,被動和主動
  4.cpu:顯示用戶cpu時間、系統cpu時間
  5.IPC:顯示發送和接受的消息數量
  6.page faults:顯示頁錯誤數量
  7.source:顯示源碼中的函數名稱與位置
  8.swaps:顯示swap的次數

eg:
show profile all for query n;
show profile block io for query n;
show profile context switches for query n;

show processlist 查看當前線程

查詢結果屬性說明
1.id表示session id
2.user表示操作的用戶
3.host表示操作的主機
4.db表示操作的數據庫
5.info表示詳細的sql語句

show full processlist;用navicate可以復制出完整的sql

6.time表示相應命令執行時間
7.state表示命令執行狀態
8.command表示當前狀態
具體狀態有以下幾種:
  sleep:線程正在等待客戶端發送新的請求
  query:線程正在執行查詢或正在將結果發送給客戶端
  locked:在mysql的服務層,該線程正在等待表鎖
  analyzing and statistics:線程正在收集存儲引擎的統計信息,並生成查詢的執行計划
  Copying to tmp table:線程正在執行查詢,並且將其結果集都復制到一個臨時表中
  sorting result:線程正在對結果集進行排序
  sending data:線程可能在多個狀態之間傳送數據,或者在生成結果集或者向客戶端返回數據

performance schema 性能模式

1.performance_schema簡介

MySQL的performance schema 用於監控MySQL server在一個較低級別的運行過程中的資源消耗、資源等待等情況
performance_schema的表中的數據不會持久化存儲在磁盤中,而是保存在內存中,一旦服務器重啟,這些數據會丟失
performance_schema通過監視server的事件來實現監視server內部運行情況,事件的采集可以方便的提供server中的相關存儲引擎對磁盤文件、表I/O、表鎖等資源的同步調用信息。記錄的是server執行某些活動對某些資源的消耗、耗時、這些活動執行的次數等情況。
performance_schema中的事件只記錄在本地server的performance_schema中,其下的這些表中數據發生變化時不會被寫入binlog中,也不會通過復制機制被復制到其他server中。

2.performance_schema使用

MySQl5.7版本是默認開啟性能模式的

SHOW VARIABLES LIKE 'performance_schema';--查看performance_schema的屬性

如果要關閉性能模式,不能用命令關閉,需要修改配置文件mysql.ini

performance_schema=ON

3.performance_schema表

performance_schema會將監控到的系統性能信息存儲到自己的數據表中。
instruments: 生產者,用於采集mysql中各種各樣的操作產生的事件信息,對應配置表中的配置項我們可以稱為監控采集配置項。
consumers:消費者,對應的消費者表用於存儲來自instruments采集的數據,對應配置表中的配置項我們可以稱為消費存儲配置項。

不同的表按照不同的維度記錄各種結果

show create table tablename--來查看創建表的時候的表結構
show tables like '%wait%';--查看類似的表名的表

大致分類有:

events_statements_current:當前語句事件表
events_statements_history:歷史語句事件表
events_statements_history_long:長語句歷史事件表
summary摘要表,還可以細分,帳號(account),主機(host),程序(program),線程(thread),用戶(user)和全局(global)
file監控文件系統
wait等待事件記錄
transaction事務事件記錄表
memory監視內存

4.performance_schema的簡單使用

數據信息采集和保存性能數據項目都是需要設置的,默認不會全部打開。

--打開等待事件的采集器配置項開關,需要修改setup_instruments配置表中對應的采集器配置項
UPDATE setup_instruments SET ENABLED = 'YES', TIMED = 'YES'where name like 'wait%';

--打開等待事件的保存表配置開關,修改setup_consumers配置表中對應的配置項
UPDATE setup_consumers SET ENABLED = 'YES'where name like '%wait%';

--當配置完成之后可以查看當前server正在做什么,可以通過查詢events_waits_current表來得知,該表中每個線程只包含一行數據,用於顯示每個線程的最新監視事件
select * from events_waits_current\G
*************************** 1. row ***************************
            THREAD_ID: 11
             EVENT_ID: 570
         END_EVENT_ID: 570
           EVENT_NAME: wait/synch/mutex/innodb/buf_dblwr_mutex
               SOURCE: 
          TIMER_START: 4508505105239280
            TIMER_END: 4508505105270160
           TIMER_WAIT: 30880
                SPINS: NULL
        OBJECT_SCHEMA: NULL
          OBJECT_NAME: NULL
           INDEX_NAME: NULL
          OBJECT_TYPE: NULL
OBJECT_INSTANCE_BEGIN: 67918392
     NESTING_EVENT_ID: NULL
   NESTING_EVENT_TYPE: NULL
            OPERATION: lock
      NUMBER_OF_BYTES: NULL
                FLAGS: NULL
/*該信息表示線程id為11的線程正在等待buf_dblwr_mutex鎖,等待事件為30880
屬性說明:
	id:事件來自哪個線程,事件編號是多少
	event_name:表示檢測到的具體的內容
	source:表示這個檢測代碼在哪個源文件中以及行號
	timer_start:表示該事件的開始時間
	timer_end:表示該事件的結束時間
	timer_wait:表示該事件總的花費時間
注意:_current表中每個線程只保留一條記錄,一旦線程完成工作,該表中不會再記錄該線程的事件信息
*/

/*
_history表中記錄每個線程應該執行完成的事件信息,但每個線程的事件信息只會記錄10條,再多就會被覆蓋,*_history_long表中記錄所有線程的事件信息,但總記錄數量是10000,超過就會被覆蓋掉
*/
select thread_id,event_id,event_name,timer_wait from events_waits_history order by thread_id limit 21;

/*
summary表提供所有事件的匯總信息,該組中的表以不同的方式匯總事件數據(如:按用戶,按主機,按線程等等)。例如:要查看哪些instruments占用最多的時間,可以通過對events_waits_summary_global_by_event_name表的COUNT_STAR或SUM_TIMER_WAIT列進行查詢(這兩列是對事件的記錄數執行COUNT(*)、事件記錄的TIMER_WAIT列執行SUM(TIMER_WAIT)統計而來)
*/
SELECT EVENT_NAME,COUNT_STAR FROM events_waits_summary_global_by_event_name  ORDER BY COUNT_STAR DESC LIMIT 10;

/*
instance表記錄了哪些類型的對象會被檢測。這些對象在被server使用時,在該表中將會產生一條事件記錄,例如,file_instances表列出了文件I/O操作及其關聯文件名
*/
select * from file_instances limit 20; 

5.常用的配置想參數摘抄記錄

1、系統變量

show variables like '%performance_schema%';
--重要的屬性解釋
performance_schema=ON
/*
控制performance_schema功能的開關,要使用MySQL的performance_schema,需要在mysqld啟動時啟用,以啟用事件收集功能
該參數在5.7.x之前支持performance_schema的版本中默認關閉,5.7.x版本開始默認開啟
注意:如果mysqld在初始化performance_schema時發現無法分配任何相關的內部緩沖區,則performance_schema將自動禁用,並將performance_schema設置為OFF
*/

performance_schema_digests_size=10000
/*
控制events_statements_summary_by_digest表中的最大行數。如果產生的語句摘要信息超過此最大值,便無法繼續存入該表,此時performance_schema會增加狀態變量
*/
performance_schema_events_statements_history_long_size=10000
/*
控制events_statements_history_long表中的最大行數,該參數控制所有會話在events_statements_history_long表中能夠存放的總事件記錄數,超過這個限制之后,最早的記錄將被覆蓋
全局變量,只讀變量,整型值,5.6.3版本引入 * 5.6.x版本中,5.6.5及其之前的版本默認為10000,5.6.6及其之后的版本默認值為-1,通常情況下,自動計算的值都是10000 * 5.7.x版本中,默認值為-1,通常情況下,自動計算的值都是10000
*/
performance_schema_events_statements_history_size=10
/*
控制events_statements_history表中單個線程(會話)的最大行數,該參數控制單個會話在events_statements_history表中能夠存放的事件記錄數,超過這個限制之后,單個會話最早的記錄將被覆蓋
全局變量,只讀變量,整型值,5.6.3版本引入 * 5.6.x版本中,5.6.5及其之前的版本默認為10,5.6.6及其之后的版本默認值為-1,通常情況下,自動計算的值都是10 * 5.7.x版本中,默認值為-1,通常情況下,自動計算的值都是10
除了statement(語句)事件之外,wait(等待)事件、state(階段)事件、transaction(事務)事件,他們與statement事件一樣都有三個參數分別進行存儲限制配置,有興趣的同學自行研究,這里不再贅述
*/
performance_schema_max_digest_length=1024
/*
用於控制標准化形式的SQL語句文本在存入performance_schema時的限制長度,該變量與max_digest_length變量相關(max_digest_length變量含義請自行查閱相關資料)
全局變量,只讀變量,默認值1024字節,整型值,取值范圍0~1048576
*/
performance_schema_max_sql_text_length=1024
/*
控制存入events_statements_current,events_statements_history和events_statements_history_long語句事件表中的SQL_TEXT列的最大SQL長度字節數。 超出系統變量performance_schema_max_sql_text_length的部分將被丟棄,不會記錄,一般情況下不需要調整該參數,除非被截斷的部分與其他SQL比起來有很大差異
全局變量,只讀變量,整型值,默認值為1024字節,取值范圍為0~1048576,5.7.6版本引入
降低系統變量performance_schema_max_sql_text_length值可以減少內存使用,但如果匯總的SQL中,被截斷部分有較大差異,會導致沒有辦法再對這些有較大差異的SQL進行區分。 增加該系統變量值會增加內存使用,但對於匯總SQL來講可以更精准地區分不同的部分。
*/

2、啟動選項

performance_schema_consumer_events_statements_current=TRUE
是否在mysql server啟動時就開啟events_statements_current表的記錄功能(該表記錄當前的語句事件信息),啟動之后也可以在setup_consumers表中使用UPDATE語句進行動態更新setup_consumers配置表中的events_statements_current配置項,默認值為TRUE

performance_schema_consumer_events_statements_history=TRUE
與performance_schema_consumer_events_statements_current選項類似,但該選項是用於配置是否記錄語句事件短歷史信息,默認為TRUE

performance_schema_consumer_events_stages_history_long=FALSE
與performance_schema_consumer_events_statements_current選項類似,但該選項是用於配置是否記錄語句事件長歷史信息,默認為FALSE

除了statement(語句)事件之外,還支持:wait(等待)事件、state(階段)事件、transaction(事務)事件,他們與statement事件一樣都有三個啟動項分別進行配置,但這些等待事件默認未啟用,如果需要在MySQL Server啟動時一同啟動,則通常需要寫進my.cnf配置文件中
performance_schema_consumer_global_instrumentation=TRUE
是否在MySQL Server啟動時就開啟全局表(如:mutex_instances、rwlock_instances、cond_instances、file_instances、users、hostsaccounts、socket_summary_by_event_name、file_summary_by_instance等大部分的全局對象計數統計和事件匯總統計信息表 )的記錄功能,啟動之后也可以在setup_consumers表中使用UPDATE語句進行動態更新全局配置項
默認值為TRUE

performance_schema_consumer_statements_digest=TRUE
是否在MySQL Server啟動時就開啟events_statements_summary_by_digest 表的記錄功能,啟動之后也可以在setup_consumers表中使用UPDATE語句進行動態更新digest配置項
默認值為TRUE

performance_schema_consumer_thread_instrumentation=TRUE
是否在MySQL Server啟動時就開啟

events_xxx_summary_by_yyy_by_event_name表的記錄功能,啟動之后也可以在setup_consumers表中使用UPDATE語句進行動態更新線程配置項
默認值為TRUE

performance_schema_instrument[=name]
是否在MySQL Server啟動時就啟用某些采集器,由於instruments配置項多達數千個,所以該配置項支持key-value模式,還支持%號進行通配等,如下:

# [=name]可以指定為具體的Instruments名稱(但是這樣如果有多個需要指定的時候,就需要使用該選項多次),也可以使用通配符,可以指定instruments相同的前綴+通配符,也可以使用%代表所有的instruments

## 指定開啟單個instruments

--performance-schema-instrument= 'instrument_name=value'

## 使用通配符指定開啟多個instruments

--performance-schema-instrument= 'wait/synch/cond/%=COUNTED'

## 開關所有的instruments

--performance-schema-instrument= '%=ON'

--performance-schema-instrument= '%=OFF'

注意,這些啟動選項要生效的前提是,需要設置performance_schema=ON。另外,這些啟動選項雖然無法使用show variables語句查看,但我們可以通過setup_instruments和setup_consumers表查詢這些選項指定的值。

6.重要表的說明

/*
performance_timers表中記錄了server中有哪些可用的事件計時器
字段解釋:
	timer_name:表示可用計時器名稱,CYCLE是基於CPU周期計數器的定時器
	timer_frequency:表示每秒鍾對應的計時器單位的數量,CYCLE計時器的換算值與CPU的頻率相關、
	timer_resolution:計時器精度值,表示在每個計時器被調用時額外增加的值
	timer_overhead:表示在使用定時器獲取事件時開銷的最小周期值
*/
select * from performance_timers;

/*
setup_timers表中記錄當前使用的事件計時器信息
字段解釋:
	name:計時器類型,對應某個事件類別
	timer_name:計時器類型名稱
*/
select * from setup_timers;

/*
setup_consumers表中列出了consumers可配置列表項
字段解釋:
	NAME:consumers配置名稱
	ENABLED:consumers是否啟用,有效值為YES或NO,此列可以使用UPDATE語句修改。
*/
select * from setup_consumers;

/*
setup_instruments 表列出了instruments 列表配置項,即代表了哪些事件支持被收集:
字段解釋:
	NAME:instruments名稱,instruments名稱可能具有多個部分並形成層次結構
	ENABLED:instrumetns是否啟用,有效值為YES或NO,此列可以使用UPDATE語句修改。如果設置為NO,則這個instruments不會被執行,不會產生任何的事件信息
	TIMED:instruments是否收集時間信息,有效值為YES或NO,此列可以使用UPDATE語句修改,如果設置為NO,則這個instruments不會收集時間信息
*/
SELECT * FROM setup_instruments;

/*
setup_actors表的初始內容是匹配任何用戶和主機,因此對於所有前台線程,默認情況下啟用監視和歷史事件收集功能
字段解釋:
	HOST:與grant語句類似的主機名,一個具體的字符串名字,或使用“%”表示“任何主機”
	USER:一個具體的字符串名稱,或使用“%”表示“任何用戶”
	ROLE:當前未使用,MySQL 8.0中才啟用角色功能
	ENABLED:是否啟用與HOST,USER,ROLE匹配的前台線程的監控功能,有效值為:YES或NO
	HISTORY:是否啟用與HOST, USER,ROLE匹配的前台線程的歷史事件記錄功能,有效值為:YES或NO
*/
SELECT * FROM setup_actors;

/*
setup_objects表控制performance_schema是否監視特定對象。默認情況下,此表的最大行數為100行。
字段解釋:
	OBJECT_TYPE:instruments類型,有效值為:“EVENT”(事件調度器事件)、“FUNCTION”(存儲函數)、“PROCEDURE”(存儲過程)、“TABLE”(基表)、“TRIGGER”(觸發器),TABLE對象類型的配置會影響表I/O事件(wait/io/table/sql/handler instrument)和表鎖事件(wait/lock/table/sql/handler instrument)的收集
	OBJECT_SCHEMA:某個監視類型對象涵蓋的數據庫名稱,一個字符串名稱,或“%”(表示“任何數據庫”)
	OBJECT_NAME:某個監視類型對象涵蓋的表名,一個字符串名稱,或“%”(表示“任何數據庫內的對象”)
	ENABLED:是否開啟對某個類型對象的監視功能,有效值為:YES或NO。此列可以修改
	TIMED:是否開啟對某個類型對象的時間收集功能,有效值為:YES或NO,此列可以修改
*/
SELECT * FROM setup_objects;

/*
threads表對於每個server線程生成一行包含線程相關的信息,
字段解釋:
	THREAD_ID:線程的唯一標識符(ID)
	NAME:與server中的線程檢測代碼相關聯的名稱(注意,這里不是instruments名稱)
	TYPE:線程類型,有效值為:FOREGROUND、BACKGROUND。分別表示前台線程和后台線程
	PROCESSLIST_ID:對應INFORMATION_SCHEMA.PROCESSLIST表中的ID列。
	PROCESSLIST_USER:與前台線程相關聯的用戶名,對於后台線程為NULL。
	PROCESSLIST_HOST:與前台線程關聯的客戶端的主機名,對於后台線程為NULL。
	PROCESSLIST_DB:線程的默認數據庫,如果沒有,則為NULL。
	PROCESSLIST_COMMAND:對於前台線程,該值代表着當前客戶端正在執行的command類型,如果是sleep則表示當前會話處於空閑狀態
	PROCESSLIST_TIME:當前線程已處於當前線程狀態的持續時間(秒)
	PROCESSLIST_STATE:表示線程正在做什么事情。
	PROCESSLIST_INFO:線程正在執行的語句,如果沒有執行任何語句,則為NULL。
	PARENT_THREAD_ID:如果這個線程是一個子線程(由另一個線程生成),那么該字段顯示其父線程ID
	ROLE:暫未使用
	INSTRUMENTED:線程執行的事件是否被檢測。有效值:YES、NO 
	HISTORY:是否記錄線程的歷史事件。有效值:YES、NO * 
	THREAD_OS_ID:由操作系統層定義的線程或任務標識符(ID):
*/
select * from threads

7.performance_schema 能解決的問題

--1、哪類的SQL執行最多?
SELECT DIGEST_TEXT,COUNT_STAR,FIRST_SEEN,LAST_SEEN FROM events_statements_summary_by_digest ORDER BY COUNT_STAR DESC
--2、哪類SQL的平均響應時間最多?
SELECT DIGEST_TEXT,AVG_TIMER_WAIT FROM events_statements_summary_by_digest ORDER BY COUNT_STAR DESC
--3、哪類SQL排序記錄數最多?
SELECT DIGEST_TEXT,SUM_SORT_ROWS FROM events_statements_summary_by_digest ORDER BY COUNT_STAR DESC
--4、哪類SQL掃描記錄數最多?
SELECT DIGEST_TEXT,SUM_ROWS_EXAMINED FROM events_statements_summary_by_digest ORDER BY COUNT_STAR DESC
--5、哪類SQL使用臨時表最多?
SELECT DIGEST_TEXT,SUM_CREATED_TMP_TABLES,SUM_CREATED_TMP_DISK_TABLES FROM events_statements_summary_by_digest ORDER BY COUNT_STAR DESC
--6、哪類SQL返回結果集最多?
SELECT DIGEST_TEXT,SUM_ROWS_SENT FROM events_statements_summary_by_digest ORDER BY COUNT_STAR DESC
--7、哪個表物理IO最多?
SELECT file_name,event_name,SUM_NUMBER_OF_BYTES_READ,SUM_NUMBER_OF_BYTES_WRITE FROM file_summary_by_instance ORDER BY SUM_NUMBER_OF_BYTES_READ + SUM_NUMBER_OF_BYTES_WRITE DESC
--8、哪個表邏輯IO最多?
SELECT object_name,COUNT_READ,COUNT_WRITE,COUNT_FETCH,SUM_TIMER_WAIT FROM table_io_waits_summary_by_table ORDER BY sum_timer_wait DESC
--9、哪個索引訪問最多?
SELECT OBJECT_NAME,INDEX_NAME,COUNT_FETCH,COUNT_INSERT,COUNT_UPDATE,COUNT_DELETE FROM table_io_waits_summary_by_index_usage ORDER BY SUM_TIMER_WAIT DESC
--10、哪個索引從來沒有用過?
SELECT OBJECT_SCHEMA,OBJECT_NAME,INDEX_NAME FROM table_io_waits_summary_by_index_usage WHERE INDEX_NAME IS NOT NULL AND COUNT_STAR = 0 AND OBJECT_SCHEMA <> 'mysql' ORDER BY OBJECT_SCHEMA,OBJECT_NAME;
--11、哪個等待事件消耗時間最多?
SELECT EVENT_NAME,COUNT_STAR,SUM_TIMER_WAIT,AVG_TIMER_WAIT FROM events_waits_summary_global_by_event_name WHERE event_name != 'idle' ORDER BY SUM_TIMER_WAIT DESC
--12-1、剖析某條SQL的執行情況,包括statement信息,stege信息,wait信息
SELECT EVENT_ID,sql_text FROM events_statements_history WHERE sql_text LIKE '%count(*)%';
--12-2、查看每個階段的時間消耗
SELECT event_id,EVENT_NAME,SOURCE,TIMER_END - TIMER_START FROM events_stages_history_long WHERE NESTING_EVENT_ID = 1553;
--12-3、查看每個階段的鎖等待情況
SELECT event_id,event_name,source,timer_wait,object_name,index_name,operation,nesting_event_id FROM events_waits_history_longWHERE nesting_event_id = 1553;


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM