MySQL 內存相關參數設置


  • read_buffer_size = 16M
    • MyISAM 表順序掃描的緩存大小,如果要經常順序掃描 MyISAM 表,可以通過增大 read_buffer_size 的值來改善性能,但是這個變量是每會話獨占,如果設置太大,會造成內存浪費,甚至物理內存耗盡。
      • 在以下場景中適用於所有的存儲引擎
      • 此選項也在以下場景中用於所有存儲引擎:

        * 控制 ORDER BY 行排序時的臨時文件(不是臨時表,而是排序

        的文件)中緩存索引的大小

        * 控制批量插入到分區中的數據大小

        * 控制緩存嵌套查詢的結果集大小

      • memory 存儲引擎中該參數的值決定 MEMORY 表的內存塊大小,注意是塊大小,而不是 memory 表可以使用的內存總大小,memory 引擎表的數據總大小限由max_heap_table_size 參數控制。
      • 全局,會話變量,默認為 128K,最大為 2G,整型值。注意:設置值必須為 4K 的倍數,否則會截取你設定值的最接近 4K 的倍數的值作為該參數的值。取值范圍為:8200~2147479552 字節。
      • PS:為啥這個變量官方描述的是用於 MyISAM,而在某些場景也適用於所有存儲引擎呢?因為在這些場景下,mysql 內部保存這些臨時數據仍然使用的是 MyISAM 表,在 mysql 5.7.x 的版本中,這些內部臨時表可以設置使用 InnoDB 存儲引擎,如果臨時表設置為 InnoDB 存儲引擎,則這個參數的大小就無需多關注了(除非你使用 MyISAM 引擎和 memory 引擎)。
  • read_rnd_buffer_size = 32M
    • MyISAM 表排序緩存的緩存大小(注意,是 key-sorting 索引排序),如果需要對 MyISAM 表做排序,可以增大 read_rnd_buffer_size 改善性能,這個變量同樣的每會話獨占,也不能設置太大。
      • 該變量控制的 buffer 在從任何存儲引擎讀取數據的時候,都會用於緩存讀取的數據,包括 MRR 優化特性也會使用。
      • 全局,會話變量,動態變量,默認值為 256K,最大值為 2G,整型值。取值范圍 1~2147483647 字節(2G)。
  • sort_buffer_size = 32M
    • 用於存放排序數據的緩存大小,超過這個大小就會使用文件排序。如果通過 show global status 看到 Sort_merge_passes 的值很大,可以考慮通過適當調整 sort_buffer_size 的值來增大排序緩存區(另外增加max_sort_length 參數的值時可能也需要增加 sort_buffer_size 參數的值),改善帶有 order by 和 group by 子句的 sql 性能。sort_buffer_size 是每線程獨占分配(每個執行排序操作的會話才會分配),不要設置過大,最好是設置一個較小的全局值,如果碰到較大表做排序,就對這個 session 設置較大的值。
      • 該參數適通用於所有存儲引擎,最小值必須要足夠大,至少要在排序緩沖中能夠存放 15 個排序元組。
      • 5.6.4 之前的版本總是在有排序操作時直接分配整個排序緩沖給會話,從 5.6.4 版本開始優化器嘗試計算排序數據的大小來分配排序緩沖的大小給會話。
      • 在 linux 上,大於 256K 或者 2M 的排序緩沖大小可能顯著降低內存分配的性能。
      • 全局變量,會話變量,動態變量,默認值在不同版本中頻繁變化,大於 5.6.4 版本號的 64 位版本默認值為 256K,整型值。64位平台取值范圍為:32768~18446744073709551615 字節。
  • tmp_table_size = 64M
    • 內存臨時表超過這個大小后,就會把內存臨時表轉換為磁盤臨時表,線程級別的參數,不要設置過大,一般全局設置不大於 100M 就可以了,否則很容易發生內存溢出,但是,如果說在臨時大數據查詢的時候,可以打開一個會話臨時設置大一點,避免產生臨時磁盤表。或者,可以使用索引查詢盡量減少返回的數據量。
      • 內部用於控制內存臨時表大小使用,是適用於用戶創建的內存表和臨時表。
      • 實際限制從 tmp_table_size 和 max_heap_table_size 兩個變量的的值中取較小值。 如果內存中臨時表超過這個限制,MySQL會自動將其轉換為磁盤上的 MyISAM 表。 如果您執行許多高級GROUP BY 查詢並且用到大量內存,請增加 tmp_table_size 的值(如果必要,也請增加 max_heap_table_size 的值)。
      • 狀態變量 Created_tmp_disk_tables 持續增加時,需要增加tmp_table_size 的值。
      • Created_tmp_disk_tables/(Created_tmp_disk_tables+Created_tmp_tables)*100% > 10%的話,就需要注意適當提高tmp_table_size 的大小,但是不能設置太大,因為它是每個session 都會分配的,可能會導致 OOM(out of memory)。
      • 全局變量,會話變量,動態變量,默認值為 16M,整型值。取值范圍為:1024~18446744073709551615 字節。
  • max_heap_table_size=64M
    • 默認是 16M,可以根據需要加大,在定義內存表時,可以使用max_rows 子句指定表的最大行數來約定內存表的數據量。該參數是用於控制用戶創建的內存表的數據大小。
      • 設置此變量不會影響任何現有的 MEMORY 表,除非使用如CREATE TABLE 或使用 ALTER TABLE 或 TRUNCATE TABLE 語句重新創建表、修改表結構或清空表數據。 服務器重新啟動也會將現有 MEMORY 表的數據最大大小限制設置為全局max_heap_table_size 值。
      • 此變量也與 tmp_table_size 結合使用以限制內部內存表的大小。如果設置與 tmp_table_size 大小不一樣,則控制內部內存臨時表以較小的為准。
      • 全局變量,會話變量,動態變量,64 位版本默認值為 16M,整型值。取值范圍為:16384~1844674407370954752 字節。
  • join_buffer_size = 32M
    • 用於存放 join 查詢中間結果的緩存大小。對於無法通過索引進行聯結操作的查詢,可以通過適當增大 join_buffer_size 的值來改善聯結查詢性能(但最好是想辦法讓 join 使用到索引來提高性能)。join_buffer_size 都是每線程獨占分配,不要設置過大(除非能夠使用BKA 特性,當使用 BKA 時,join_buffer_size 的值的大小決定了向存儲引擎的每個請求中包含的鍵值對的多少,緩沖區越大,聯結操作的右表即被驅動表的順序 I/O 訪問就越多,BKA 的作用就是把隨機 I/O 訪問變為順序 I/O 訪問,這可以顯着提高性能),最好是設置一個較小的全局值,如果碰到較大表做聯結查詢,或者是比較復雜的聯結表查詢,就對這個 session 設置較大的值。
      • 對於簡單查詢的索引掃描、索引范圍掃描以及因為不能使用到索引做全表掃描的 join 查詢時,無論返回的數據多大,都會分配該參數的最小值 128 字節那么多 join buffer 做查詢。
      • 對於簡單的兩個表之間的查詢分配一個 join buffer,但是對於復雜的多表 join 查詢且不能使用索引的時候,可能會分配多個 join buffer。
      • 全局變量,會話變量,動態變量,默認值在不同版本中頻繁變化,大於 5.6.6 版本號的 64 位版本默認值為 256K,最小值為128 字節,整型值。取值范圍為:128~18446744073709547520 字節。
  • thread_cache_size = 64
    • 為加快數據庫連接的速度,mysql 會緩存一定數量的客戶端服務線程以備重用,通過這個參數可以控制 mysql 緩存客戶端服務線程的數量,可以通過計算線程 cache 的失效率:Threads_created/Connections 狀態變量比值來衡量 thread_cache_size 參數的設置是否合理,該值越接近 1,說明線程 cache 的命中率越低,就應該考慮增加這個參數的值。
      • 當一個客戶端訪問完成斷開連接時,如果線程緩存中的客戶端連接線程沒有達到 thread_cache_size 定義的值,則這個客戶端線程會被 put 到緩存中,當另外一個客戶端新建連接時,如果線程緩存不為空(即有客戶端線程緩存在線程緩存中),就會從緩存中取出這個客戶端連接進行重用。在大多數情況下,如果你的並發連接不高的時候,這個值對性能的影響可能就看不出來,但是當有大量並發連接時,通過增大這個值可以緩解高並發連接的壓力。
      • 默認值為-1,表示自動計算(計算公式:8 + (max_connections/ 100)),全局變量,動態變量,整型值。固定值取值范圍為:0~16384
      • PS:這個變量對嵌入式服務器(libmysqld)沒有任何影響,而在 MySQL 5.7.2 在嵌入式服務器中移除了這個變量。

 

參考文章

 

參數:

存儲引擎/共享
日志緩沖區,緩沖區池 

innodb_buffer_pool_size
innodb_additional_mem_pool_size
innodb_log_buffer_size


服務器/共享
查詢調整緩存
線程高速絡緩存

query_cache
table_cahce
table_definition_cache

連接/會話
排序緩沖區,讀取緩沖區,臨時表

binlog_cache_size
read_buffer_size
read_rnd_buffer_size
join_buffer_size
sort_buffer_size
tmp_table_size
thread_cache_size
bulk_insert_buffer_size
net_buffer_length
thread_stack




下面轉載自:http://www.bitscn.com/pdb/mysql/201405/227583.html

*.線程獨享內存
*.全局共享內存
全局共享內存類似ORACLE的系統全局區SGA,線程獨享內存類似ORACLE的進程全局區PGA

一、線程獨享內存


在MySQL中,線程獨享內存主要用於各客戶端連接線程存儲各種操作的獨享數據,如線程棧信息,分組排序操作,數據讀寫緩沖,結果集暫存等等,而且大多數可以通過相關參數來控制內存的使用量。

* 線程棧信息使用內存(thread_stack):
主要用來存放每一個線程自身的標識信息,如線程id,線程運行時基本信息等等,我們可以通過 thread_stack 參數來設置為每一個線程棧分配多大的內存。
Global,No Dynamic,Default 192K(32bit), 256K(32bit),
推薦配置:默認

* 排序使用內存(sort_buffer_size):
MySQL 用此內存區域進行排序操作(filesort),完成客戶端的排序請求。當我們設置的排序區緩存大小無法滿足排序實際所需內存的時候,MySQL會將數據寫入磁盤文件來完成排序。由於磁盤和內存的讀寫性能完全不在一個數量級,
所以sort_buffer_size參數對排序操作的性能影響絕對不可小視。排序操作的實現原理請參考:MySQL Order By的實現分析。
什么時候會用到?
對結果集排序時
使用確認:
可以通過查詢計划中的Extra列的值為Using file-sort來證實使用了和這個緩沖區。
>explain select * from user1;
Global Session,Dynamic,Default 2M(32bit), 2M(32bit),
推薦配置:8M(內存足夠的情況下),默認(內存緊張的情況)
優化建議:一種說法是增大可以提高order by,group by性能,防止數據寫入磁盤占用IO資源,還有一種說法是不推薦增加這個緩沖區的大小,理由是當值太大時可能會降低查詢的執行速度。目前我沒有實驗證實。

* Join操作使用內存(join_buffer_size):
應用程序經常會出現一些兩表(或多表)Join的操作需求,MySQL在完成某些Join需求的時候(all/index join),為了減少參與Join的“被驅動表”的讀取次數以提高性能,需要使用到Join Buffer來協助完成Join操作
(具體Join實現算法請參考:MySQL中的 Join 基本實現原理)。當Join Buffer太小,MySQL 不會將該Buffer存入磁盤文件,而是先將Join Buffer中的結果集與需要Join的表進行Join操作,然后清空Join Buffer中的數據,
繼續將剩余的結果集寫入此Buffer中,如此往復。這勢必會造成被驅動表需要被多次讀取,成倍增加IO訪問,降低效率。
什么時候會用到?
當查詢必須連接兩個表(或多個)的數據集並且不能使用索引時,這個緩沖區會被用到。這個緩沖區專門為每個線程的無索引鏈接操作准備的。
使用確認:
可以通過查詢計划中的Extra列的值為Using join bufer來證實使用了和這個緩沖區。

>explain select * from user1;
+------+-------------+-------+-------+---------------+------+---------+------+------+-------------+
| id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra |
+------+-------------+-------+-------+---------------+------+---------+------+------+-------------+
| 1 | SIMPLE | user1 | index | NULL | name | 78 | NULL | 3 | Using index |
+------+-------------+-------+-------+---------------+------+---------+------+------+-------------+


Global Session,Dynamic,Default 128K 各版本平台最大值不一樣
推薦配置:8M(內存足夠的情況下),默認(內存緊張的情況)
優化建議:有一種說法是增加這個緩沖區的大小不會加快全連接操作的速度。目前我沒有實驗證實。

* 順序讀取數據緩沖區使用內存(read_buffer_size):
這部分內存主要用於當需要順序讀取數據的時候,如無法使用索引的情況下的全表掃描,全索引掃描等。在這種時候,MySQL按照數據的存儲順序依次讀取數據塊,每次讀取的數據快首先會暫存在read_buffer_size中,
當buffer空間被寫滿或者全部數據讀取結束后,再將buffer中的數據返回給上層調用者,以提高效率。
Global Session,Dynamic,Default 128K
推薦配置:4M/8M


* 隨機讀取數據緩沖區使用內存(read_rnd_buffer_size):
和順序讀取相反,當MySQL進行非順序讀取(隨機讀取)數據塊的時候,會利用這個緩沖區暫存讀取的數據。如根據索引信息讀取表數據,根據排序后的結果集與表進行Join等等。
總的來說,就是當數據塊的讀取需要滿足一定的順序的情況下,MySQL就需要產生隨機讀取,進而使用到read_rnd_buffer_size 參數所設置的內存緩沖區。
Global Session,Dynamic,Default 256K
推薦配置:8M


* 連接信息及返回客戶端前結果集暫存使用內存(net_buffer_lenth):
這部分用來存放客戶端連接線程的連接信息和返回客戶端的結果集。當MySQL開始產生可以返回的結果集,會在通過網絡返回給客戶端請求線程之前,會先暫存在通過net_buffer_lenth所設置的緩沖區中,
等滿足一定大小的時候才開始向客戶端發送,以提高網絡傳輸效率。不過net_buffer_lenth參數所設置的僅僅只是該緩存區的初始化大小,MySQL會根據實際需要自行申請更多的內存以滿足需求,
但最大不會超過 max_allowed_packet 參數大小。
Global Session,Dynamic,Default 16K
推薦配置:默認 16K

* 批量插入暫存使用內存(bulk_insert_buffer_size):
當我們使用如 insert … values(…),(…),(…)… 的方式進行批量插入的時候,MySQL會先將提交的數據放如一個緩存空間中,當該緩存空間被寫滿或者提交完所有數據之后,MySQL才會一次性將該緩存空間中的數據寫入數據庫並清空緩存。
此外,當我們進行 LOAD DATA INFILE操作來將文本文件中的數據Load進數據庫的時候,同樣會使用到此緩沖區。
Global Session,Dynamic,Default 8M
推薦配置:默認 8M
* 臨時表使用內存(tmp_table_size):
當我們進行一些特殊操作如需要使用臨時表才能完成的Order By,Group By 等等,MySQL可能需要使用到臨時表。當我們的臨時表較小(小於tmp_table_size 參數所設置的大小)的時候,MySQL會將臨時表創建成內存臨時表,
只有當tmp_table_size所設置的大小無法裝下整個臨時表的時候,MySQL才會將該表創建成MyISAM存儲引擎的表存放在磁盤上。不過,當另一個系統參數 max_heap_table_size 的大小還小於 tmp_table_size 的時候,
MySQL將使用 max_heap_table_size 參數所設置大小作為最大的內存臨時表大小,而忽略tmp_table_size 所設置的值。而且 tmp_table_size 參數從 MySQL 5.1.2 才開始有,之前一直使用 max_heap_table_size。
誰小誰生效.另外還有一個參數max_tmp_tables,沒有使用
tmp_table_size
Global Session,Dynamic,Default 16M
推薦配置:64M
max_heap_table_size
Global Session,Dynamic,Default 8M
This variable sets the maximum size to which user-created MEMORY tables are permitted to grow
這個變量定義了MEMORY存儲引擎表的最大容量。
This variable is also used in conjunction with tmp_table_size to limit the size of internal in-memory tables. See
這個變量也與tmp_table_size一起使用限制內部內存表的大小。請見
http://dev.mysql.com/doc/refman/5.5/en/internal-temporary-tables.html
推薦配置:64M
主要根據業務以及服務器內存來調整,如果有需要到則可以調整到。GB居然使用2G的配置,汗

目前沒有一個簡便的方式來確定內部臨時表的總容量。可以通過MySQL狀態變量created_tmp_tables和created_tmp_disk_tables來確定創建了臨時表和基於磁盤的臨時表

mysql> show global status like 'create%tables';
+-------------------------+-------+
| Variable_name | Value |
+-------------------------+-------+
| Created_tmp_disk_tables | 0 |
| Created_tmp_tables | 0 |
+-------------------------+-------+


5.5中,可以使用PERFORMANCE—SCHEMA來幫助統計基於磁盤的臨時表的總大小

補充說明:上面所列舉的MySQL線程獨享內存僅僅只是所有線程獨享內存中的部分,並不是全部,只是這些可能對MySQL的性能產生較大的影響,且可以通過系統參數進行調節。
由於以上內存都是線程獨享,極端情況下的內存總體使用量將是所有連接線程的總倍數。所以在設置過程中一定要謹慎,切不可為了提升性能就盲目的增大各參數值,
避免因為內存不夠而產生Out Of Memory異常或者是嚴重的Swap交換反而降低整體性能。

二、全局共享內存

全局共享內則主要是MySQL Instance以及底層存儲引擎用來暫存各種全局運算及可共享的暫存信息,如
存儲查詢緩存的 Query Cache,
緩存連接線程的 Thread Cache,
緩存表文件句柄信息的 Table Cache,
緩存二進制日志的 BinLog Buffer,
緩存MyISAM存儲引擎索引鍵的 Key Buffer
存儲InnoDB數據和索引的 InnoDB Buffer Pool
等等。下面針對 MySQL 主要的共享內存進行一個簡單的分析。

* MyISAM索引緩存 Key Buffer(key_buffer_size):
MyISAM 索引緩存將MyISAM表的索引信息(.MYI文件)緩存在內存中,以提高其訪問性能。這個緩存可以說是影響MyISAM存儲引擎性能的最重要因素之一了,通過 key_buffere_size 設置可以使用的最大內存空間。
注意:即使運行一個全部采用innodb的模式,仍需要定義一個索引碼緩沖區,因為MYSQL元信息與MyISAM定義相同。
Global ,Dynamic,Default 8M
推薦配置:默認 8M
如何確認key_buffer_size不夠用?
使用show full proceslist的State列中,值Repairing the keycache是一個明顯的指標,它指出當前索引碼緩沖區大小不足以執行當前運行的SQL語句。這將導致額外的磁盤I/O開銷。

* 查詢緩存 Query Cache (query_cache_size):
http://dev.mysql.com/doc/refman/5.5/en/query-cache-configuration.html
http://dev.mysql.com/doc/refman/5.5/en/query-cache-status-and-maintenance.html
查詢緩存是MySQL比較獨特的一個緩存區域,用來緩存特定Query的結果集(Result Set)信息,且共享給所有客戶端。通過對Query語句進行特定的Hash計算之后與結果集對應存放在Query Cache中,以提高完全相同的Query語句的相應速度。
當我們打開MySQL的Query Cache之后,MySQL接收到每一個SELECT類型的Query之后都會首先通過固定的Hash算法得到該Query的Hash值,然后到Query Cache中查找是否有對應的Query Cache。如果有,則直接將Cache的結果集返回給客戶端。
如果沒有,再進行后續操作,得到對應的結果集之后將該結果集緩存到Query Cache中,再返回給客戶端。當任何一個表的數據發生任何變化之后,與該表相關的所有Query Cache全部會失效,所以Query Cache對變更比較頻繁的表並不是非常適用,
但對那些變更較少的表是非常合適的,可以極大程度的提高查詢效率,如那些靜態資源表,配置表等等。為了盡可能高效的利用Query Cache,MySQL針對Query Cache設計了多個query_cache_type值
和兩個Query Hint:SQL_CACHE和SQL_NO_CACHE。當query_cache_type設置為0(或者 OFF)的時候不使用Query Cache,當設置為1(或者 ON)的時候,當且僅當Query中使用了SQL_NO_CACHE 的時候MySQL會忽略Query Cache,
當query_cache_type設置為2(或者DEMAND)的時候,當且僅當Query中使用了SQL_CACHE提示之后,MySQL才會針對該Query使用Query Cache。可以通過query_cache_size來設置可以使用的最大內存空間。
Global Dynamic,Default 0
推薦配置:16M
如何確定系統query cache的情況?
show global status like 'Qcache%';或者
select * from information_schema.GLOBAL_STATUS where VARIABLE_NAME like 'Qcache%';
公式:
(Qcache_hits/Qcache_hits+Com_select+1)*100來確定查詢緩存的有效性

mysql> show variables like 'query_cache_size';
+------------------+----------+
| Variable_name | Value |
+------------------+----------+
| query_cache_size | 16777216 |
+------------------+----------+
1 row in set (0.00 sec)
mysql> show global status like 'Qcache%';
+-------------------------+------------+
| Variable_name | Value |
+-------------------------+------------+
| Qcache_free_blocks | 535 |
| Qcache_free_memory | 4885448 |
| Qcache_hits | 1858574835 |
| Qcache_inserts | 1619931831 |
| Qcache_lowmem_prunes | 802889469 |
| Qcache_not_cached | 825000679 |
| Qcache_queries_in_cache | 4411 |
| Qcache_total_blocks | 9554 |
+-------------------------+------------+
8 rows in set (0.00 sec)
mysql> show global status like 'Com_select';
+---------------+------------+
| Variable_name | Value |
+---------------+------------+
| Com_select | 2445037535 |
+---------------+------------+
1 row in set (0.00 sec)



* 連接線程緩存 Thread Cache(thread_cache_size):
連接線程是MySQL為了提高創建連接線程的效率,將部分空閑的連接線程保持在一個緩存區以備新進連接請求的時候使用,這尤其對那些使用短連接的應用程序來說可以極大的提高創建連接的效率。
當我們通過thread_cache_size設置了連接線程緩存池可以緩存的連接線程的大小之后,可以通過(Connections - Threads_created) / Connections * 100% 計算出連接線程緩存的命中率。
注意,這里設置的是可以緩存的連接線程的數目,而不是內存空間的大小。
Global,Dynamic,Default 0
推薦配置:8個
如何確定系統Thread Cache的情況?

mysql> show global status like 'Threads_created';
+-----------------+-------+
| Variable_name | Value |
+-----------------+-------+
| Threads_created | 506 |
+-----------------+-------+
1 row in set (0.00 sec)

mysql> show global status like 'connections';
+---------------+----------+
| Variable_name | Value |
+---------------+----------+
| Connections | 16513711 |
+---------------+----------+
1 row in set (0.00 sec)

16513711-506/16513711 * 100% =99.9938% 很高的命中率啊 這台之只讀的slave


* 表緩存 Table Cache(table_open_cache):
表緩存區主要用來緩存表文件的文件句柄信息,在 MySQL5.1.3之前的版本通過table_cache參數設置,但從MySQL5.1.3開始改為table_open_cache來設置其大小。當我們的客戶端程序提交Query給MySQL的時候,
MySQL需要對Query所涉及到的每一個表都取得一個表文件句柄信息,如果沒有Table Cache,那么MySQL就不得不頻繁的進行打開關閉文件操作,無疑會對系統性能產生一定的影響,Table Cache 正是為了解決這一問題而產生的。
在有了Table Cache之后,MySQL每次需要獲取某個表文件的句柄信息的時候,首先會到Table Cache中查找是否存在空閑狀態的表文件句柄。如果有,則取出直接使用,沒有的話就只能進行打開文件操作獲得文件句柄信息。
在使用完之后,MySQL會將該文件句柄信息再放回Table Cache 池中,以供其他線程使用。注意,這里設置的是可以緩存的表文件句柄信息的數目,而不是內存空間的大小。
Global,Dynamic,Default 400
推薦配置:根據內存配置4G 2048 大於最大Opened_tables
如何確定系統table_open_cache的情況?

mysql> show variables like 'table_open_cache';
+------------------+-------+
| Variable_name | Value |
+------------------+-------+
| table_open_cache | 512 |
+------------------+-------+
1 row in set (0.00 sec)
mysql> show global status like 'open%_tables';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| Open_tables | 512 |
| Opened_tables | 6841 |
+---------------+-------+
2 rows in set (0.00 sec)

 

調優參考:

http://blog.zfcms.com/article/282
http://www.kuqin.com/database/20120815/328904.html
兩個參數的值。其中Open_tables是當前正在打開表的數量,Opened_tables是所有已經打開表的數量。
如果Open_tables的值已經接近table_cache的值,且Opened_tables還在不斷變大,則說明mysql正在將緩存的表釋放以容納新的表,此時可能需要加大table_cache的值。對於大多數情況,比較適合的值:
Open_tables / Opened_tables >= 0.85
Open_tables / table_cache <= 0.95
如果對此參數的把握不是很准,VPS管理百科給出一個很保守的設置建議:把MySQL數據庫放在生產環境中試運行一段時間,然后把參數的值調整得比Opened_tables的數值大一些,並且保證在比較高負載的極端條件下依然比Opened_tables略大。
在mysql默認安裝情況下,table_cache的值在2G內存以下的機器中的值默認時256到 512,如果機器有4G內存,則默認這個值是2048,

* 表定義信息緩存 Table definition Cache (table_definition_cache):
表定義信息緩存是從 MySQL5.1.3 版本才開始引入的一個新的緩存區,用來存放表定義信息。當我們的 MySQL 中使用了較多的表的時候,此緩存無疑會提高對表定義信息的訪問效率。
MySQL 提供了 table_definition_cache 參數給我們設置可以緩存的表的數量。注意,這里設置的是可以緩存的表定義信息的數目,而不是內存空間的大小。
The number of table definitions (from .frm files) that can be stored in the definition cache. If you use a large number of tables, you can create a large table definition cache to speed up opening of tables.
Global, Dynamic, Default 400
推薦配置:根據內存配置4G 2048 和Table Cache一樣即可

* 二進制日志緩沖區Binlog Cache( binlog_cache_size):
二進制日志緩沖區主要用來緩存由於各種數據變更操做所產生的 Binary Log 信息。為了提高系統的性能,MySQL 並不是每次都是將二進制日志直接寫入 Log File,而是先將信息寫入 Binlog Buffer 中,
當滿足某些特定的條件(如 sync_binlog參數設置)之后再一次寫入 Log File 中。我們可以通過 binlog_cache_size 來設置其可以使用的內存大小,同時通過 max_binlog_cache_size 限制其最大大小
(當單個事務過大的時候 MySQL 會申請更多的內存)。當所需內存大於 max_binlog_cache_size 參數設置的時候,MySQL 會報錯:“Multi-statement transaction required more than ‘max_binlog_cache_size’ bytes of storage”。
Global,Dynamic,Default 32K
推薦配置:2M

* InnoDB 日志緩沖區 InnoDB Log Buffer (innodb_log_buffer_size):
這是 InnoDB 存儲引擎的事務日志所使用的緩沖區。類似於 Binlog Buffer,InnoDB 在寫事務日志的時候,為了提高性能,也是先將信息寫入 Innofb Log Buffer 中,當滿足 innodb_flush_log_trx_commit 參數所設置的相應條件(或者日志緩沖區寫滿)之后,才會將日志寫到文件(或者同步到磁盤)中。可以通過 innodb_log_buffer_size 參數設置其可以使用的最大內存空間。
注:innodb_flush_log_trx_commit 參數對 InnoDB Log 的寫入性能有非常關鍵的影響。該參數可以設置為0,1,2,解釋如下:

0:log buffer中的數據將以每秒一次的頻率寫入到log file中,且同時會進行文件系統到磁盤的同步操作,但是每個事務的commit並不會觸發任何log buffer 到log file的刷新或者文件系統到磁盤的刷新操作;
1:在每次事務提交的時候將log buffer 中的數據都會寫入到log file,同時也會觸發文件系統到磁盤的同步;
2:事務提交會觸發log buffer 到log file的刷新,但並不會觸發磁盤文件系統到磁盤的同步。此外,每秒會有一次文件系統到磁盤同步操作。
此外,MySQL文檔中還提到,這幾種設置中的每秒同步一次的機制,可能並不會完全確保非常准確的每秒就一定會發生同步,還取決於進程調度的問題。實際上,InnoDB 能否真正滿足此參數所設置值代表的意義正常 Recovery 還是受到了不同 OS 下文件系統以及磁盤本身的限制,可能有些時候在並沒有真正完成磁盤同步的情況下也會告訴 mysqld 已經完成了磁盤同步。

Global,Dynamic,Default 8M
推薦配置:8M 默認

* InnoDB 數據和索引緩存 InnoDB Buffer Pool(innodb_buffer_pool_size):
InnoDB Buffer Pool 對 InnoDB 存儲引擎的作用類似於 Key Buffer Cache 對 MyISAM 存儲引擎的影響,主要的不同在於 InnoDB Buffer Pool 不僅僅緩存索引數據,還會緩存表的數據,
而且完全按照數據文件中的數據快結構信息來緩存,這一點和 Oracle SGA 中的 database buffer cache 非常類似。所以,InnoDB Buffer Pool 對 InnoDB 存儲引擎的性能影響之大就可想而知了。
可以通過 (Innodb_buffer_pool_read_requests - Innodb_buffer_pool_reads) / Innodb_buffer_pool_read_requests * 100% 計算得到 InnoDB Buffer Pool 的命中率。
global級別,不可動態變更 Default 128M
設置InnoDB數據和索引內存緩存空間大小
配置方式:配置文件中配置
選擇參數:50 - 80 % RAM

mysql> show variables like '%innodb_buffer%';
+------------------------------+-----------+
| Variable_name | Value |
+------------------------------+-----------+
| innodb_buffer_pool_instances | 1 |
| innodb_buffer_pool_size | 268435456 |
+------------------------------+-----------+
2 rows in set (0.00 sec)


通過show global status和show engine innodb status/G的BUFFER POOL AND MEMORY

mysql> show global status like '%innodb_buffer%';
+---------------------------------------+--------------+
| Variable_name | Value |
+---------------------------------------+--------------+
| Innodb_buffer_pool_pages_data | 15684 |
| Innodb_buffer_pool_bytes_data | 256966656 |
| Innodb_buffer_pool_pages_dirty | 210 |
| Innodb_buffer_pool_bytes_dirty | 3440640 |
| Innodb_buffer_pool_pages_flushed | 372378403 |
| Innodb_buffer_pool_pages_free | 1 |
| Innodb_buffer_pool_pages_misc | 698 |
| Innodb_buffer_pool_pages_total | 16383 |
| Innodb_buffer_pool_read_ahead_rnd | 0 |
| Innodb_buffer_pool_read_ahead | 691803 |
| Innodb_buffer_pool_read_ahead_evicted | 41350 |
| Innodb_buffer_pool_read_requests | 170965099291 |
| Innodb_buffer_pool_reads | 5392513 |
| Innodb_buffer_pool_wait_free | 0 |
| Innodb_buffer_pool_write_requests | 5825388207 |
+---------------------------------------+--------------+
15 rows in set (0.01 sec)

mysql> show engine innodb status/G
BUFFER POOL AND MEMORY
----------------------
Total memory allocated 274726912; in additional pool allocated 0
Dictionary memory allocated 4055091
Buffer pool size 16383
Free buffers 1
Database pages 15673
Old database pages 5765
Modified db pages 521
Pending reads 0
Pending writes: LRU 0, flush list 0, single page 0
Pages made young 27497746, not young 0
0.00 youngs/s, 0.00 non-youngs/s
Pages read 6346456, created 1902566, written 372381712
0.00 reads/s, 0.37 creates/s, 27.75 writes/s
Buffer pool hit rate 1000 / 1000, young-making rate 0 / 1000 not 0 / 1000
Pages read ahead 0.00/s, evicted without access 0.00/s, Random read ahead 0.00/s
LRU len: 15673, unzip_LRU len: 0
I/O sum[1107]:cur[0], unzip sum[0]:cur[0]


命中率 Innodb_buffer_pool_read_requests - Innodb_buffer_pool_reads) / Innodb_buffer_pool_read_requests * 100%
170965099291-5392513/170965099291 × 100% = 99.99%

* InnoDB 字典信息緩存 InnoDB Additional Memory Pool(innodb_additional_mem_pool_size):
InnoDB 字典信息緩存主要用來存放 InnoDB 存儲引擎的字典信息以及一些 internal 的共享數據結構信息。所以其大小也與系統中所使用的 InnoDB 存儲引擎表的數量有較大關系。不過,如果我們通過 innodb_additional_mem_pool_size 參數所設置的內存大小不夠,InnoDB 會自動申請更多的內存,並在 MySQL 的 Error Log 中記錄警告信息。
global級別,不可動態變更 Default 8M
設置InnoDB存放數據庫字典信息的Buffer大小
推薦配置:50M

三、查看統計

1.查看各參數內存配置方式
#全局共享內存 9個變量
show variables like 'innodb_buffer_pool_size'; /* InnoDB 數據和索引緩存(InnoDB Buffer Pool) */
show variables like 'innodb_additional_mem_pool_size'; /* InnoDB 字典信息緩存(InnoDB Additional Memory Pool)*/
show variables like 'innodb_log_buffer_size'; /* InnoDB 日志緩沖區(InnoDB Log Buffer) */
show variables like 'binlog_cache_size'; /* 二進制日志緩沖區(Binlog Buffer)*/
show variables like 'thread_cache_size'; /* 連接線程緩存(Thread Cache)*/
show variables like 'query_cache_size'; /* 查詢緩存(Query Cache)*/
show variables like 'table_open_cache'; /* 表緩存(Table Cache) */
show variables like 'table_definition_cache'; /* 表定義信息緩存(Table definition Cache) */
show variables like 'key_buffer_size'; /* MyISAM索引緩存(Key Buffer) */
#最大線程數
show variables like 'max_connections';
#線程獨享內存 6個變量
show variables like 'thread_stack'; /* 線線程棧信息使用內存(thread_stack) */
show variables like 'sort_buffer_size'; /* 排序使用內存(sort_buffer_size) */
show variables like 'join_buffer_size'; /* Join操作使用內存(join_buffer_size) */
show variables like 'read_buffer_size'; /* 順序讀取數據緩沖區使用內存(read_buffer_size) */
show variables like 'read_rnd_buffer_size'; /* 隨機讀取數據緩沖區使用內存(read_rnd_buffer_size) */
show variables like 'tmp_table_size'; /* 臨時表使用內存(tmp_table_size) ,我實際計算把tmp_table_size放入全局共享內*/
也可以通過系統變量的方式直接獲取
select @@key_buffer_size;
select @@max_connections


2.mysql內存計算公式
mysql使用的內存 = 全局共享內存+最大線程數×線程獨享內存

mysql used mem=innodb_buffer_pool_size+innodb_additional_mem_pool_size+innodb_log_buffer_size+binlog_cache_size+thread_cache_size+query_cache_size+table_open_cache+table_definition_cache+key_buffer_size
+max_connections*(
thread_stack+sort_buffer_size+join_buffer_size+read_buffer_size+read_rnd_buffer_size+tmp_table_size)

SET @kilo_bytes=1024;
SET @mega_bytes=@kilo_bytes*1024;
SET @giga_bytes=@mega_bytes*1024;
SELECT (@@innodb_buffer_pool_size+@@innodb_additional_mem_pool_size+@@innodb_log_buffer_size+@@binlog_cache_size+@@thread_cache_size+@@query_cache_size+@@table_open_cache+@@table_definition_cache+@@key_buffer_size+@@max_connections*(@@thread_stack+@@sort_buffer_size+@@join_buffer_size+@@read_buffer_size+@@read_rnd_buffer_size+@@tmp_table_size))/@giga_bytes AS MAX_MEMORY_GB;


這個理論最大的內存使用量,在5.5版本中tmp_table_size默認是16M,按默認u自大連接數151計算,光線程獨享的臨時表占據的空間都是2416M,我實際計算把tmp_table_size放入全局共享內
我的計算公式
mysql使用的內存 = 全局共享內存+最大線程數×線程獨享內存

mysql used mem=innodb_buffer_pool_size+innodb_additional_mem_pool_size+innodb_log_buffer_size+binlog_cache_size+thread_cache_size+query_cache_size+table_open_cache+table_definition_cache+key_buffer_size+tmp_table_size
+max_connections*(
thread_stack+sort_buffer_size+join_buffer_size+read_buffer_size+read_rnd_buffer_size)

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM