MySQL占用CPU過高 查找原因及解決 多種方式
一、排查有沒有地方占用SQL資源過多
1、排查方法 :
> mysql -uroot -p #登陸數據庫
>******** #輸入數據庫密碼
2、查看數據庫
show databases;
3、use 數據庫名; #切換到常用數據庫
4、show processlist; #顯示哪些線程正在運行
或者:
-- select * from information_schema.PROCESSLIST
where info is not null;
說明各列的含義和用途
id列:一個標識,你要kill 一個語句的時候很有用。
user列: 顯示當前用戶,如果不是root,這個命令就只顯示你權限范圍內的sql語句。
host列:顯示這個語句是從哪個ip 的哪個端口上發出的。可用來追蹤出問題語句的用戶。
db列:顯示這個進程目前連接的是哪個數據庫。
command列:顯示當前連接的執行的命令,一般就是休眠(sleep),查詢(query),連接(connect)。
通常代表資源未釋放,如果是通過連接池,sleep狀態應該恆定在一定數量范圍內
實戰范例:因前端數據輸出時(特別是輸出到用戶終端)未及時關閉數據庫連接,導致因網絡連接速度產生大量sleep連接,在網速出現異常時,數據庫too many connections掛死。
簡單解讀,數據查詢和執行通常只需要不到0.01秒,而網絡輸出通常需要1秒左右甚至更長,原本數據連接在0.01秒即可釋放,但是因為前端程序未執行close操作,直接輸出結果,那么在結果未展現在用戶桌面前,該數據庫連接一直維持在sleep狀態!
time列:此這個狀態持續的時間,單位是秒。
state列:顯示使用當前連接的sql語句的狀態,很重要的列,后續會有所有的狀態的描述,請注意,state只是語句執行中的某一個狀態,一個sql語句,已查詢為例,可能需要經過copying to tmp table,Sorting result,Sending data等狀態才可以完成。
info列:顯示這個sql語句,因為長度有限,所以長的sql語句就顯示不全,但是一個判斷問題語句的重要依據。
其中state的狀態十分關鍵,下表列出state主要狀態和描述:
狀態 | 描述 |
Checking table | 正在檢查數據表(這是自動的)。 |
Closing tables | 正在將表中修改的數據刷新到磁盤中,同時正在關閉已經用完的表。這是一個很快的操作,如果不是這樣的話,就應該確認磁盤空間是否已經滿了或者磁盤是否正處於重負中。 |
Connect Out | 復制從服務器正在連接主服務器。 |
Copying to tmp table on disk | 由於臨時結果集大於tmp_table_size,正在將臨時表從內存存儲轉為磁盤存儲以此節省內存。 |
Creating tmp table | 正在創建臨時表以存放部分查詢結果。 |
deleting from main table | 服務器正在執行多表刪除中的第一部分,剛刪除第一個表。 |
deleting from reference tables | 服務器正在執行多表刪除中的第二部分,正在刪除其他表的記錄。 |
Flushing tables | 正在執行FLUSH TABLES,等待其他線程關閉數據表。 |
Killed | 發送了一個kill請求給某線程,那么這個線程將會檢查kill標志位,同時會放棄下一個kill請求。MySQL會在每次的主循環中檢查kill標志位,不過有些情況下該線程可能會過一小段才能死掉。如果該線程程被其他線程鎖住了,那么kill請求會在鎖釋放時馬上生效。 |
Locked | 被其他查詢鎖住了。 |
Sending data | 正在處理SELECT查詢的記錄,同時正在把結果發送給客戶端。 |
Sorting for group | 正在為GROUP BY做排序。 |
Sorting for order | 正在為ORDER BY做排序。 |
Opening tables | 這個過程應該會很快,除非受到其他因素的干擾。例如,在執ALTER TABLE或LOCK TABLE語句行完以前,數據表無法被其他線程打開。正嘗試打開一個表。 |
Removing duplicates | 正在執行一個SELECT DISTINCT方式的查詢,但是MySQL無法在前一個階段優化掉那些重復的記錄。因此,MySQL需要再次去掉重復的記錄,然后再把結果發送給客戶端。 |
Reopen table | 獲得了對一個表的鎖,但是必須在表結構修改之后才能獲得這個鎖。已經釋放鎖,關閉數據表,正嘗試重新打開數據表。 |
Repair by sorting | 修復指令正在排序以創建索引。 |
Repair with keycache | 修復指令正在利用索引緩存一個一個地創建新索引。它會比Repair by sorting慢些。 |
Searching rows for update | 正在講符合條件的記錄找出來以備更新。它必須在UPDATE要修改相關的記錄之前就完成了。 |
Sleeping | 正在等待客戶端發送新請求. |
System lock | 正在等待取得一個外部的系統鎖。如果當前沒有運行多個mysqld服務器同時請求同一個表,那么可以通過增加--skip-external-locking參數來禁止外部系統鎖。 |
Upgrading lock | INSERT DELAYED正在嘗試取得一個鎖表以插入新記錄。 |
Updating | 正在搜索匹配的記錄,並且修改它們。 |
User Lock | 正在等待GET_LOCK()。 |
Waiting for tables | 該線程得到通知,數據表結構已經被修改了,需要重新打開數據表以取得新的結構。然后,為了能的重新打開數據表,必須等到所有其他線程關閉這個表。以下幾種情況下會產生這個通知:FLUSH TABLES tbl_name, ALTER TABLE, RENAME TABLE, REPAIR TABLE, ANALYZE TABLE,或OPTIMIZE TABLE。 |
waiting for handler insert | INSERT DELAYED已經處理完了所有待處理的插入操作,正在等待新的請求。 |
二、開啟日志排查模式
1、設置
日志開啟 --- SET GLOBAL log_output = 'TABLE';SET GLOBAL general_log = 'ON';
日志關閉 --- SET GLOBAL log_output = 'TABLE'; SET GLOBAL general_log = 'OFF';
2、開啟后 會查詢到當前正在運行的sql,如發現SQL周期性一直在執行一段SQL或多段SQL 查找使用地方排查原因
SELECT * from mysql.general_log ORDER BY event_time DESC;
3、在查詢到所需要的記錄之后,應盡快關閉日志模式,占用磁盤空間比較大,清空表(delete對於這個表,不允許使用,只能用truncate)
-- truncate table mysql.general_log;
三、mysql中的wait_timeout坑
mysql> show variables like '%timeout%';
首先解釋一下:
wait_timeout — 指的是mysql在關閉一個非交互的連接之前所要等待的秒數,其取值范圍為1-2147483(Windows),1-31536000(linux),默認值28800。
interactive_time — 指的是mysql在關閉一個交互的連接之前所要等待的秒數(交互連接如mysql gui tool中的連接),其取值范圍隨wait_timeout變動,默認值28800。
所謂的交互式連接,即在mysql_real_connect()函數中使用了CLIENT_INTERACTIVE選項。說得直白一點,通過mysql客戶端連接數據庫是交互式連接,通過jdbc連接數據庫是非交互式連接。
MySQL 的默認設置下,當一個連接的空閑時間超過8小時后,一到高峰期肯定會造成,會有太多的TCP連接沒關閉,數據庫連接數肯定是不夠。從而會產生CPU占用過高,服務器告警等問題。因EPG的一個訪問一次對數據庫操作量不大,查詢完數據就完成ok了,wait_timeout 設置在120s內就行了
1、第一種修改方式 需重啟MySQL(6.5為例)
1.1、修改參數配置文件
vi /etc/my.cnf
[mysqld]
wait_timeout = 28800
interactive_timeout = 28800
#增加以上兩列即可,因為官方文檔要求修改此參數必須同時修改interactive_timeout
1.2、重啟數據庫
service mysqld restart
1.3、查看數據庫參數是否修改成功
連接MySQL 然后查看 show variables like ‘wait_timeout’;
2、第二種修改方式 不需重啟MySQL
mysql> show variables like '%timeout';
+-------------------------+-------+
| Variable_name | Value |
+-------------------------+-------+
| connect_timeout | 10 |
| delayed_insert_timeout | 300 |
| interactive_timeout | 200 |
| net_read_timeout | 30 |
| net_write_timeout | 60 |
| slave_net_timeout | 3600 |
| table_lock_wait_timeout | 50 |
| wait_timeout | 200 |
+-------------------------+-------+
mysql> set global interactive_timeout=100;
Query OK, 0 rows affected (0.00 sec)
退出后重新登錄mysql
如果修改interactive_timeout的話wait_timeout也會跟着變,而只修改wait_timeout是不生效的。