MySQL優化二(連接優化和緩存優化)


MySQL優化二(連接優化和緩存優化)

上文MySQL優化:一 、緩存優化 這篇文章中提到了一個很重要的概念,就是show variables是用來表示系統編譯或者配置在my.cnf中的變量值。而show status則稱之為狀態值,顯示的是當前服務實例運行所具有的狀態信息,是一個動態改變的值。因此常用來觀測當前MySQl的運行是否正常,如果不正常那么依靠調整靜態參數來提高MySQL的性能。所以明白這兩個概念的不同,是后面調優的基礎。

一、MySQL 連接優化

記得有一次在公司內部連接MySQL的時候,總是連接不上。找到DBA后,經過排查原因,是當前MySQL連接數滿了,經過調整后,解決了問題。引發連接數過多的錯誤原因一般有兩個,第一的確是有很多人在連接MySQL,造成連接數用完。第二種是max_connections值過小。

1、連接參數(show variables)

mysql> show variables like '%connect%';
+-----------------------------------------------+-----------------+
| Variable_name                                 | Value           |
+-----------------------------------------------+-----------------+
| character_set_connection                      | utf8            |
| collation_connection                          | utf8_general_ci |
| connect_timeout                               | 10              |
| disconnect_on_expired_password                | ON              |
| init_connect                                  |                 |
| max_connect_errors                            | 100             |
| max_connections                               | 151             |
| max_user_connections                          | 0               |
| performance_schema_session_connect_attrs_size | 512             |
+-----------------------------------------------+-----------------+ 

max_connections是指MySQL服務實例能夠同時接受的的最大並發連接數。MySQL實際上支持最大連接數加一的算法,保障當連接數用完的時候,超級管理員依然可以和服務端建立連接,進行管理。

max_user_connections設置指定賬號的最大並發連接數。

max_connect_errors 當某台非法主機惡意連接MySQL服務端,遭到的錯誤達到設置值后,MySQL會解決來自該主機的所有連接。但執行flush hosts后會清零。

2、連接狀態(show status)

有一點需要注意的,變量值(show variables)是以小寫字母開頭的,而狀態值(show status)是以大寫字母開頭。這樣區分有助於記憶和分類

mysql> show status like '%connections%';
+-----------------------------------+-------+
| Variable_name                     | Value |
+-----------------------------------+-------+
| Connection_errors_max_connections | 0     |
| Connections                       | 197   |
| Max_used_connections              | 2     |
+-----------------------------------+-------+

Connection_errors_max_connections 當MySQL的最大並發數大於系統變量(show variables)中max_connections的最大並發數,因此而被拒絕的次數,將會記錄在這個變量里。如果Connection_error_max_connections值比較大,則說明當前系統並發比較高,要考慮調大max_connections的值。

Connections表示MySQL從啟動至今,成功建立連接的連接數,這個值是不斷累加的。

Max_used_connections表示MySQL從啟動至今,同一時刻並發的連接數,取得是最大值。如果這個值大於 max_connections則表明系統經常處於高並發的狀態,應該考慮調大最大並發連接數。

3、連接線程參數(thread variabls and status)

mysql> show variables like 'thread%';
+--------------------+---------------------------+
| Variable_name      | Value                     |
+--------------------+---------------------------+
| thread_cache_size  | 9                         |
| thread_concurrency | 10                        |
| thread_handling    | one-thread-per-connection |
| thread_stack       | 262144                    |
+--------------------+---------------------------+

thread_cache_size 設置連接線程緩存的數目。這個緩存相當於MySQL線程的緩存池(thread cache pool),將空閑的連接線程放入連接池中緩存起來,而非立即銷毀。當有新的連接請求時,如果連接池中有空閑的連接,則直接使用。否則要重新創建線程。創建線程是一個不小的系統開銷。MySQL的這部分線程處理和Nginx 的線程處理有異曲同工之妙,以后介紹Nginx的線程處理時,會拿來做對比。

thread_handling 默認值是: one-thread-per-connection 表示為每個連接提供或者創建一個線程來處理請求,直至請求完畢,連接銷毀或者存入緩存池。當值是no-threads 時,表示在始終只提供一個線程來處理連接,一般是單機做測試使用的。

thread_stack stack 是堆的意思,由PHP 進程詳解這篇博客,知道進程和線程都是有唯一的ID的,進程的ID系統會維護,二線程的ID,則由具體的線程庫區維護,當進程或者線程休眠的時候,進程的上下文信息要在內存中開辟出一塊區域,保存進程的上下文信息,以便於迅速喚醒程序。默認為MySQL的每個線程設置的堆棧大小為:262144/1024=256k

查看線程狀態信息

mysql> show status like 'Thread%';
+-------------------+-------+
| Variable_name     | Value |
+-------------------+-------+
| Threads_cached    | 1     |
| Threads_connected | 1     |
| Threads_created   | 2     |
| Threads_running   | 1     |
+-------------------+-------+

Thread_cached 當前線程池的線程數

Thread_connected 當前的連接數

Thread_cached: 當前連接線程創建數, 如果這個值過高,可以調整threadcachesize 也就是調整線程緩存池的大小。

Thred_runnint: 當前活躍的線程數。

連接請求堆棧

MySQL在很短的時間內,突然收到很多的連接請求時,MySQL會將不能來得及處理的連接請求保存在堆棧中,以便MySQL后續處理。back_log參數設置了堆棧的大小,可以通過如下命令查看:

mysql> show variables like 'back_log';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| back_log      | 80    |
+---------------+-------+

連接異常

mysql> show status like 'Aborted%';
+------------------+-------+
| Variable_name    | Value |
+------------------+-------+
| Aborted_clients  | 0     |
| Aborted_connects | 219   |
+------------------+-------+

Aborted_clients MySQL 客戶機被異常關閉的次數。

Aborted_connects 試圖連接到MySQL服務器而失敗的連接次數。

other

mysql> show status like 'Slow%';
+---------------------+-------+
| Variable_name       | Value |
+---------------------+-------+
| Slow_launch_threads | 0     |
| Slow_queries        | 0     |
+---------------------+-------+

mysql> show variables like 'slow_launch_time';
+------------------+-------+
| Variable_name    | Value |
+------------------+-------+
| slow_launch_time | 2     |
+------------------+-------+

Slow_lunch_threads 創建線程的時間過長,超過slow_launch_time的設定值,則會記錄。

可以通過使用 Connection_error%來查看連接的錯誤狀態信息:

mysql> show status like 'Connection_error%';
+-----------------------------------+-------+
| Variable_name                     | Value |
+-----------------------------------+-------+
| Connection_errors_accept          | 0     |
| Connection_errors_internal        | 0     |
| Connection_errors_max_connections | 0     |
| Connection_errors_peer_address    | 0     |
| Connection_errors_select          | 0     |
| Connection_errors_tcpwrap         | 0     |
+-----------------------------------+-------+

Connection_errors_peer_address 查找MySQL客戶機IP地址是發生的錯誤數。

二、緩存的優化

MySQL 內部處處皆緩存,等什么時候看了MySQL的源碼,再來詳細的分析緩存的是如何利用的。這部分主要將各種顯式的緩存優化:

  1. 查詢緩存優化
  2. 結果集緩存
  3. 排序緩存
  4. join 連接緩存
  5. 表緩存Cache 與表結構定義緩存Cache
  6. 表掃描緩存buffer
  7. MyISAM索引緩存buffer
  8. 日志緩存
  9. 預讀機制
  10. 延遲表與臨時表

1、查詢緩存優化

查詢緩存不僅將查詢語句結構緩存起來,還將查詢結果緩存起來。一段時間內,如果是同樣的SQL,則直接從緩存中讀取結果,提高查找數據的效率。但當緩存中的數據與硬盤中的數據不一致時,緩存就會失效。

mysql> show variables like '%query_cache%';
+------------------------------+---------+
| Variable_name                | Value   |
+------------------------------+---------+
| have_query_cache             | YES     |
| query_cache_limit            | 1048576 |
| query_cache_min_res_unit     | 4096    |
| query_cache_size             | 1048576 |
| query_cache_type             | OFF     |
| query_cache_wlock_invalidate | OFF     |
+------------------------------+---------+

have_query_cache 是否支持查詢緩存。

query_cache_limit 如果某條select語句的結果集大小超過了querycachelimit的值時,這個結果集將不會被添加到查詢緩存。

query_cache_min_res_unit 查詢緩存是以塊來申請內存空間的,每次申請的塊大小為設定值。4K 是非常一個合理的值,不必修改。

query_cache_size 查詢緩存的大小。

query_cache_type 查詢緩存的類型,值有 0(OFF)、1(ON)、2(DEMOND)。OFF表示查詢緩存是關閉的。ON 表示查詢總是先到查詢緩存中去查找,除非在select 語句中包含sql_no_cache選項。 DEMOND 表示不適用緩存,除非在select 語句中包含sql_cache選項。

query_cache_wlock_invalidate 該參數用於設置行級排它鎖與查詢緩存之間的關系,默認為為0(OFF),表示施加行級排它所的同時,該表的所有查詢緩存依然有效。如果設置為1(ON),表示事假行級排它鎖的同時,該表的所有查詢緩存失效。

查看查詢緩存的命中率

mysql> show status like 'Qcache%';
+-------------------------+---------+
| Variable_name           | Value   |
+-------------------------+---------+
| Qcache_free_blocks      | 1       |
| Qcache_free_memory      | 1031360 |
| Qcache_hits             | 0       |
| Qcache_inserts          | 0       |
| Qcache_lowmem_prunes    | 0       |
| Qcache_not_cached       | 0       |
| Qcache_queries_in_cache | 0       |
| Qcache_total_blocks     | 1       |
+-------------------------+---------+

查看當前緩存的狀態信息:

Qcache_free_blocks

表示查詢緩存中處以重現狀態的內存塊數(碎片數量)。如果Qcache_free_blocks 的值較大,則意味着查詢緩存中碎片比較多,表明查詢結果集較小,此時可以減小query_cache_min_res_unit的值。使用flush query cache 會對緩存中的若干個碎片進行整理,從而得到一個比較大的空閑塊。緩存碎片率 = Qcache_free_blocks/ Qcache_total_blocks * 100%

Qcache_free_memory

表示當前MySQL服務實例的查詢緩存還有多少可用內存。

Qcache_hits

表示使用查詢緩存的次數,該值會依次增加。如果Qcache_hits比較大,則說明查詢緩存使用的非常頻繁,此時需要增加查詢緩存。

Qcache_inserts

表示查詢緩存中此前總共緩存過多少條select 語句的結果集。

Qcache_lowmen_prunes

表示因為查詢緩存已滿而溢出,導致MySQL刪除的查詢結果個數。如果該值比較大,則表明查詢緩存過小。

Qcache_not_cached

表示沒有進入查詢緩存的select個數

Qcache_queryies_in_cache

表示查詢緩存中緩存這多少條select語句的結果集

Qcache_total_blocks

查詢緩存的總個數

緩存命中率的計算方式: 查詢緩存的命中率 = Qcache_hits / Com_select * 100%

其中Com_select為當前MySQL實例執行select 語句的個數。一般情況下Com_select = Qcache_insert + Qcache_not_cached。而 Qcache_not_cached中包含有數據頻繁變化而導致查詢緩存失效的select語句,因此命中率一般來說較低。如果拋開失效的因素,查詢緩存的命中率 = Qcache_hits / (Qcache_hits + Qcache_inserts) 如果使用這種公式計算出查詢緩存的命中率比較高的話,這就意味着大部分select語句都命中了查詢緩存。

通過如下命令查看當前系統一共執行了多少條select語句

mysql> show status like 'Com_select';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| Com_select    | 1     |
+---------------+-------+


2、結果集緩存

結果集緩存是會話緩存,MySQL客戶機成功連接服務器之后。MySQL服務器會為每個MySQL客戶機保留結果集緩存。緩存MySQL客戶機連接線程的連接信息以及緩存返回MySQL客戶機的結果集信息,當MySQL客戶機向服務器發送select 語句時,MySQL將select語句的執行結果暫存在結果集緩存中。結果集的緩存大小由 net_buffer_length 參數值定義:

mysql> show variables like 'net_buffer_length';
+-------------------+-------+
| Variable_name     | Value |
+-------------------+-------+
| net_buffer_length | 16384 |
+-------------------+-------+

如果結果集超過net_buffer_length設置的值,則自動擴充容量,但不超過:max_allowd_packet的閾限值:

mysql> show  variables like 'max_allowed_packet';
+--------------------+---------+
| Variable_name      | Value   |
+--------------------+---------+
| max_allowed_packet | 4194304 |
+--------------------+---------+


3、排序緩存

MySQL 常用的有InnoDB 和MyISAM 兩種數據存儲引擎。因此在優化的時候,每種引擎都會采用適合自己引擎的優化方法。關於MySQL 與InnoDB 表結構文件和數據日志文件的不同,可以先看本人的博客MySQL 日志系統,以便對這些基礎概念有足夠的了解,接下來看引擎的優化的方法才能如魚得水,不覺得枯燥。

1、普通排序緩存

排序緩存是會話緩存, 如果客戶機向服務端發送的SQL語句中含有設計排序的order by 或者group by 子句。MySQL就會選擇相應的排序算法,在普通排序索引上進行排序,提升排序速度。普通排序索引的大小由sort_buffer_size 參數定義,如果要提升排序的速度,首先應該添加合適的索引,此后則應該增大排序索引緩存sort_buffer_size.

mysql> select @@global.sort_buffer_size / 1024;
+----------------------------------+
| @@global.sort_buffer_size / 1024 |
+----------------------------------+
|                         256.0000 |
+----------------------------------+
1 row in set (0.00 sec)

接下來我們來看下與排序緩存相關的參數有哪些:

mysql> show variables like '%sort%';
+--------------------------------+---------------------+
| Variable_name                  | Value               |
+--------------------------------+---------------------+
| innodb_disable_sort_file_cache | OFF                 |
| innodb_ft_sort_pll_degree      | 2                   |
| innodb_sort_buffer_size        | 1048576             |
| max_length_for_sort_data       | 1024                |
| max_sort_length                | 1024                |
| myisam_max_sort_file_size      | 9223372036853727232 |
| myisam_sort_buffer_size        | 8388608             |
| sort_buffer_size               | 262144              |
+--------------------------------+---------------------+

mysql> show status like '%sort%';
+-------------------+-------+
| Variable_name     | Value |
+-------------------+-------+
| Sort_merge_passes | 0     |
| Sort_range        | 0     |
| Sort_rows         | 0     |
| Sort_scan         | 0     |
+-------------------+-------+

max_length_for_sort_data

默認大小為1024字節,對每一列的進行排序操作是,如果該列的值長度較長,通過增加該參數來提升MySQL性能。

max_sort_length

order by 或者 group by 的時候使用該列的前 max_sort_length字節進行排序,排序操作完成后,會將此次排序的信息記錄到本次會話的狀態里。

Sort_merge_passes

使用臨時文件完成排序操作的次數。MySQL在進行排序操作時,首先嘗試在普通排序緩存中完成排序。如果緩存空間不夠用,MySQL將利用緩存進行多次排序。並把每次的排序結果存放到臨時文件中,最后再把臨時文件中的數據做一次排序。Sort_merge_passes值就是記錄了使用文件進行排序的次數。由於文件排序要牽涉到讀文件,打開文件句柄,然后關閉文件等操作。所以讀取文件的系統消耗比較大,通過增大普通排序緩存sort_buffer_size來減少使用臨時文件排序的次數,從而增加排序的性能。

Sort_range

使用范圍排序的次數

Sort_rows

已經排序的記錄行數

Sort_scan

通過全表掃描完成排序的次數

2、MyISAM排序緩存

當我們使用alter table 語句或者create index 語句創建MyISAM表的索引,或者導入一部分數據使用load data infile path,這些操作都會導致索引被重建,重建索引時需要對索引字段進行排序操作,為了加快重建索引的效率,MyISAM提供了排序緩存用於實現索引的排序工作,這些方法都是盡量是排序的工作在內存中完成。MyISAM排序緩存的大小由myisam_sort_buffer_size定義。索引重建之后,該緩存立馬釋放。

但是當排序的緩存超過myisam_sort_buffer_size的閾限時,此時就需要在臨時文件中完成索引字段的排序工作,外存臨時文件的大小由myisam_max_sort_file_size參數設定,索引重建后,臨時文件立即刪除。

mysql> select @@global.myisam_sort_buffer_size/1024;
+---------------------------------------+
| @@global.myisam_sort_buffer_size/1024 |
+---------------------------------------+
|                             8192.0000 |
+---------------------------------------+

mysql> select @@global.myisam_max_sort_file_size /1024;
+------------------------------------------+
| @@global.myisam_max_sort_file_size /1024 |
+------------------------------------------+
|                    9007199254739967.7734 |
+------------------------------------------+
3、InnoDB 排序緩存

和MyISAM引擎類似,當執行alter table 、create index 創建索引是,InnoDB提供了3個InnoDB排序緩存用於實現索引的排序,每個緩存的大小由innodb_sort_buffer_size定義。

mysql> select @@global.innodb_sort_buffer_size/1024;
+---------------------------------------+
| @@global.innodb_sort_buffer_size/1024 |
+---------------------------------------+
|                             1024.0000 |
+---------------------------------------+

4、join 連接緩存

join緩存是會話緩存,如果兩張表相連,但是卻無法使用索引(這時使用join連接緩存的前提),MySQL將為每張表分配join 連接緩存。

mysql> select @@global.join_buffer_size/1024;
+--------------------------------+
| @@global.join_buffer_size/1024 |
+--------------------------------+
|                       256.0000 |
+--------------------------------+

join_buffer_size 定義了連接緩存的大小,如上圖,默認為256;



5、表緩存Cache 與表結構定義緩存Cache

MySQL 服務訪問數據庫中的表時,實際上MySQL是做的文件的讀取操作。MySQL的數據都是存在硬盤上的一個個文件,這個和一些內存的型的數據庫不同。當我們查詢一張表,使用select 語句時,不考慮使用查詢緩存,首先要操作系統打開該文件,產生該文件的描述符。操作系統將文件描述符交給MySQL,MySQL才能對數據庫進行CURD的操作。打開文件、產生文件描述符都需要消耗系統資源,造成訪問延時。MySQL將已經打開的文件,包括文件描述符緩存起來,以后再次訪問該文件時,就無需打開該文件,提高了讀取文件的效率。

表結構並不經常變化,當對表進行訪問的時候,除了將該表植入MySQL的表緩存外,MySQL還將表結構放入了表結構定義緩存中,供下次使用。

mysql> show variables like 'table%';
+----------------------------+-------+
| Variable_name              | Value |
+----------------------------+-------+
| table_definition_cache     | 1400  |
| table_open_cache           | 2000  |
| table_open_cache_instances | 1     |
+----------------------------+-------+

mysql> show variables like '%open%';
+----------------------------+----------+
| Variable_name              | Value    |
+----------------------------+----------+
| have_openssl               | DISABLED |
| innodb_open_files          | 2000     |
| open_files_limit           | 65535    |
| table_open_cache           | 2000     |
| table_open_cache_instances | 1        |
+----------------------------+----------+

table_open_cache

設定了可以緩存表以及視圖的數量限制

table_definition_cache

設定了可以存儲多少張frm 表結構

對於MySQL MyISAM引擎來說,表結構包含MYI 和MYD 以及表結構frm, 當訪問MyISAM 引擎的時候,需要一次性打開兩個文件(MYI 、MYD),產生兩個文件描述符。

open_files_limit

打開文件的上限

innodb_open_files

如果InnoDB 表使用的是獨立表空間文件(ibd),該參數設定同一時間能夠打開的文件數量。

以下是和打開表相關的狀態值:

mysql> show status like 'Open%';
+--------------------------+-------+
| Variable_name            | Value |
+--------------------------+-------+
| Open_files               | 18    |
| Open_streams             | 0     |
| Open_table_definitions   | 70    |
| Open_tables              | 63    |
| Opened_files             | 125   |
| Opened_table_definitions | 0     |
| Opened_tables            | 0     |
+--------------------------+-------+


6、表掃描緩存buffer

表掃描分為順序掃描(Sequential Scan)以及隨機掃描(Random Scan) 兩種方式

順序掃描 當MyISAM表沒有建索引時,查詢速度將進行全表掃描,效率很低。為了提升全表掃描的速度,MySQL提供了順序掃描緩存(read buffer)。此時MySQL按照存儲數據的存儲順序因此讀出全部的數據塊,每次讀取的數據塊緩存在順序掃描緩存中,當read buffer寫滿之后,將數據返還給上層調用者。

隨機掃描

當表里有緩存,掃描表的時候,會將表的索引字段放進內存里先拍好序,然后按照已經拍好的順序去硬盤中查找數據。


7、MyISAM索引緩存buffer

通過緩存MYI索引文件的內容,可以加快讀取索引的速度以及索引的速度。索引緩存只對MyISAM表起作用,且被所有線程共享。查詢語句或者更新索引通過索引訪問表數據的時候,MySQL首先檢查索引緩存中是否已經存在需要的索引信息,如果有通過緩存中的索引可以直接訪問到索引對應的MYD文件。如果沒有,則會讀取MYI文件,並將相應的索引數據讀取到緩存中。索引緩存對MyISAM表的訪問性能起到了至關重要的作用。

mysql> show variables like 'key%';
+--------------------------+---------+
| Variable_name            | Value   |
+--------------------------+---------+
| key_buffer_size          | 8388608 (8M)| 
| key_cache_age_threshold  | 300     |
| key_cache_block_size     | 1024    |
| key_cache_division_limit | 100     |
+--------------------------+---------+

key_buffer_size

設置索引緩存的大小,默認是8M。建議提升。

key_cache_block_size

指定每個索引緩存的區塊大小,建議設置為4K,即4096

key_cache_division_limit

為了有效的使用緩存。默認情況下MySQL降緩存划分為兩個索引緩存區,溫區(warm area) 以及熱區(hot area)。key_cache_division_limit參數以百分比的形式向曾哥索引緩存划分為多個區域。當默認值是100的時候,表示索引緩存只有溫區,將啟用LRU算法淘汰索引緩存中的索引。

key_cahe_age_threshold

控制溫區域熱區中的索引何時升級何時降級。如果該值小於100,則有熱區。移動算法大致類似與LRU算法。

查看當前MySQL服務實例索引讀以及索引寫的狀態值:

mysql> show status like 'Key%';
+------------------------+-------+
| Variable_name          | Value |
+------------------------+-------+
| Key_blocks_not_flushed | 0     |
| Key_blocks_unused      | 6698  |
| Key_blocks_used        | 0     |
| Key_read_requests      | 0     |
| Key_reads              | 0     |
| Key_write_requests     | 0     |
| Key_writes             | 0     |
+------------------------+-------+


8、日志緩存

日志緩存分為二進制日志緩存以及InnoDB重做日志緩存

1、二進制日志緩存

mysql> show variables like '%binlog%cache%';
+----------------------------+----------------------+
| Variable_name              | Value                |
+----------------------------+----------------------+
| binlog_cache_size          | 32768                |
| binlog_stmt_cache_size     | 32768                |
| max_binlog_cache_size      | 18446744073709547520 |
| max_binlog_stmt_cache_size | 18446744073709547520 |
+----------------------------+----------------------+

mysql> show status like '%binlog%cache%';
+----------------------------+-------+
| Variable_name              | Value |
+----------------------------+-------+
| Binlog_cache_disk_use      | 0     |
| Binlog_cache_use           | 0     |
| Binlog_stmt_cache_disk_use | 0     |
| Binlog_stmt_cache_use      | 0     |
+----------------------------+-------+

Mysql 進行創建或者更新的數據的時候,會記錄一條二進制日志。然而頻繁的進行I/O操作將對MySQL造成較大的性能影響。因此MySQL開辟了一個二進制日志緩存binlog_cache_size。首先將操作寫入二進制日志,當操作成功之后,將二進制日志寫入硬盤。

2、InnoDB重做日志緩存

事務在commit前,會將產生的重做日志寫入InnoDB重做日志緩存,然后InnoDB【擇機】執行輪詢策略,將緩存中的重做日志文件寫入ib_logfile0 以及ib_logfile1重做日志中。

mysql> show variables like 'innodb_log_buffer_size';
+------------------------+---------+
| Variable_name          | Value   |
+------------------------+---------+
| innodb_log_buffer_size | 8388608 |
+------------------------+---------+

InnoDB重做日志緩存可以確保事務提交前,事務運行期間產生的重做日志保存在InnoDB的日志緩存中,但並不寫入重做日志文件中。寫入時機由innodb_flush_log_at_trx_commit參數控制。

mysql> show variables like 'innodb_flush_log%';
+--------------------------------+-------+
| Variable_name                  | Value |
+--------------------------------+-------+
| innodb_flush_log_at_timeout    | 1     |
| innodb_flush_log_at_trx_commit | 1     |
+--------------------------------+-------+

0:當緩存中重做日志文件以每秒一次的頻率寫入硬盤緩存,並且同時會更新到硬盤。

1:在每次事務提交的時候,將緩存中重做日志寫到重做日志文件,同時寫入硬盤,默認是該行為。

2:事務提交的時候,寫到緩存,但並不觸發文件系統到硬盤的同步操作,但此外每秒一次同步硬盤。

9、預讀機制

預讀機制主要利用了前文MySQL優化:一 、緩存優化所描述的原理。即局部性特征,空間局部性,和時間局部性,這里不再贅述。

1、InnoDB預讀機制

InnoDB采用預讀機制,將“未來即將訪問的數據”包括索引加載到預讀緩存中,進而提升數據的讀性能。InnoDB支持順序預讀(linear read ahead)與隨機預讀(random read ahead)兩種方式。

數據塊(page)是InnoDB硬盤管理的最小單位,一個區由64個連續的數據塊構成,對於順序預讀而言,InnoDB首選將該數據所在數據塊置入InnoDB緩存池中,可以預測這些數據塊的后續塊很快就會被訪問,於是這些數據塊以及前置的數據塊會被置入內存中。根據innodb_read_ahead_threshold參數設定預讀前后多少個數據塊。

mysql> show variables like 'innodb_read_ahead%';
+-----------------------------+-------+
| Variable_name               | Value |
+-----------------------------+-------+
| innodb_read_ahead_threshold | 56    |
+-----------------------------+-------+

2、索引緩存預加載

數據庫管理員可以使用MySQL命令 load index into cache 預加載MyISAM表索引


10、MyISAM表延遲插入

mysql> show variables like '%delayed%';
+----------------------------+-------+
| Variable_name              | Value |
+----------------------------+-------+
| delayed_insert_limit       | 100   |
| delayed_insert_timeout     | 300   |
| delayed_queue_size         | 1000  |
| max_delayed_threads        | 20    |
| max_insert_delayed_threads | 20    |
+----------------------------+-------+

看到這個延遲插入的功能,想起項目里一個有點類似的功能,啟發了自己的思路。

使用方法為:insert delyed into table values(*);

delyed_insert_limit

默認值為100.當向MySQL表延遲插入100行記錄后,檢查該表是否有select語句在等待執行,如果有,暫停insert語句執行。

delayed_insert_timeout

在超時范圍內,如果delayed 隊列里沒有數據,延遲插入線程將關掉。

delayed_queue_size

延遲插入的隊列長度,超出將阻塞,直到有足夠的空間。

max_delayed_threads

延遲插入的線程數。

MyISAM表的批量延遲插入

類似 insert into table values(1),values(2),values(n)。MyISAM將進行批量插入。先將插入的數據放入緩存。當緩存被寫滿或者提交完畢了,MySQL一次性的將緩存中的寫入硬盤。通過批量插入可以大大縮減MySQL客戶機與服務機的連接語法分析等消耗,使得效率比分開執行單個insert語句快的多。

mysql> select @@global.bulk_insert_buffer_size/(1024*1024);
+----------------------------------------------+
| @@global.bulk_insert_buffer_size/(1024*1024) |
+----------------------------------------------+
|                                       8.0000 |
+----------------------------------------------+

默認批量插入的大小為8M。如果業務上有需要,可以設定的大一些,以提高批量插入的性能。

MyISAM表的索引延遲更新

索引可以加快數據檢索,但是對於更新來說,不僅需要修改記錄,可能還需要修改索引,因此索引會導致數據更新操作變慢,如果將MySQL的delay_key_write參數設置為1(ON),可以彌補這一缺陷。開啟后更新操作修改數據的時候先將數據的更新提交到硬盤,索引的更新全部在索引緩存里完成。在關閉表的時候,一起更新到硬盤,這樣就可以使索引更新的更快。僅對MyISAM有效。

mysql> show variables like 'delay_key_write';
+-----------------+-------+
| Variable_name   | Value |
+-----------------+-------+
| delay_key_write | ON    |
+-----------------+-------+

InnoDB延遲更新

非聚簇索引的更新操作通常會帶來隨機I/O,降低InoDB的性能。當更新(insert, delete ,update=insert+delete)非聚簇索引的數據時,會先檢查非聚簇索引頁是否位於InnoDB緩存池中,如果是直接更新,否則先將“信息修改”記錄在更新緩存中(change buffer)

這篇博客的內容比較多,總結提煉下來以備以后查看。對整個MySQL的優化先有個整體的框架,徐徐漸進慢慢進步。這些參數可以不用記憶,用到的時候到博客中查找或者百度即可。了解道,知道術,就可以完成優化的過程。知道原理比記憶枯燥的原理要簡單的多。對MySQL優化感興趣的博友可以關注我的博客,以便看到后續的分享。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM