MySQL性能之路--修改my.cnf


鏈接:https://www.jianshu.com/p/307acc4a9bcd
在Nginx, php, MySQL的體系架構中,MySQL對於性能的影響很大,也是關鍵的核心部分。同時,MySQL也是優化難度最大的一個部分,不但需要理解一些MySQL專業知識,同時還需要長時間的觀察統計並且根據經驗進行判斷,然后設置合理的參數。 下面我們了解一下MySQL優化的一些基礎,MySQL的優化我分為兩個部分,一是服務器物理硬件的優化,二是MySQL自身(my.cnf)的優化。

1.服務器硬件對MySQL性能的影響

1)磁盤尋道能力(磁盤I/O)

以目前高轉速SCSI硬盤(7200轉/秒)為例,這種硬盤理論上每秒尋道7200次,這是物理特性決定的,沒有辦法改變。MySQL每秒鍾都在進行大量、復雜的查詢操作,對磁盤的讀寫量可想而知。所以,通常認為磁盤I/O是制約MySQL性能的最大因素之一,對於日均訪問量在100萬PV以上的Discuz!論壇,由於磁盤I/O的制約,MySQL的性能會非常低下!解決這一制約因素可以考慮以下幾種解決方案: 使用RAID-0+1磁盤陣列,注意不要嘗試使用RAID-5,MySQL在RAID-5磁盤陣列上的效率不會像你期待的那樣快。如果資金充足,也可選擇SSD固態,好歹也是15000轉/秒,性能也會提升不少。

2)CPU 處理能力

推薦使用S.M.P.架構的多路對稱CPU,例如:可以使用兩顆Intel Xeon 3.6GHz的CPU,現在我較推薦用4U的服務器來專門做數據庫服務器,不僅僅是針對於mysql。

3)物理內存

對於一台使用MySQL的Database Server來說,服務器內存建議不要小於2GB,推薦使用4GB以上的物理內存,不過內存對於現在的服務器而言可以說是一個可以忽略的問題,工作中遇到了高端服務器基本上內存都超過了16G。

2.MySQL自身因素當解決了上述服務器硬件制約因素后,讓我們看看MySQL自身的優化是如何操作的

對MySQL自身的優化主要是對其配置文件my.cnf中的各項參數進行優化調整。下面我們介紹一些對性能影響較大的參數。 由於my.cnf文件的優化設置是與服務器硬件配置息息相關的, 因而我們指定一個假想的服務器硬件環境:CPU: 2顆Intel Xeon 2.4GHz 內存: 4GB DDR 硬盤: SCSI 73GB(很常見的2U服務器 ) 。

下面,我們根據以上硬件配置結合一份已經優化好的my.cnf進行說明:

[mysqld]

port = 3306

serverid = 1

socket = /tmp/mysql.sock

skip-locking

#避免MySQL的外部鎖定,減少出錯幾率增強穩定性。

skip-name-resolve

#禁止MySQL對外部連接進行DNS解析,使用這一選項可以消除MySQL進行DNS解析的時間。但需要注意,如果開啟該選項,則所有遠程主機連接授權都要使用IP地址方式,否則MySQL將無法正常處理連接請求!

back_log = 384

#back_log參數的值指出在MySQL暫時停止響應新請求之前的短時間內多少個請求可以被存在堆棧中。 如果系統在一個短時間內有很多連接,則需要增大該參數的值,該參數值指定到來的TCP/IP連接的偵聽隊列的大小。不同的操作系統在這個隊列大小上有它自己的限制。 試圖設定back_log高於你的操作系統的限制將是無效的。默認值為50。對於Linux系統推薦設置為小於512的整數。

key_buffer_size = 256M

#key_buffer_size指定用於索引的緩沖區大小,增加它可得到更好的索引處理性能。對於內存在4GB左右的服務器該參數可設置為256M或384M。注意:該參數值設置的過大反而會是服務器整體效率降低!

max_allowed_packet = 4M

thread_stack = 256K

table_cache = 128K

sort_buffer_size = 6M

#查詢排序時所能使用的緩沖區大小。注意:該參數對應的分配內存是每連接獨占,如果有100個連接,那么實際分配的總共排序緩沖區大小為100 × 6 = 600MB。所以,對於內存在4GB左右的服務器推薦設置為6-8M。

read_buffer_size = 4M

#讀查詢操作所能使用的緩沖區大小。和sort_buffer_size一樣,該參數對應的分配內存也是每連接獨享。

join_buffer_size = 8M

#聯合查詢操作所能使用的緩沖區大小,和sort_buffer_size一樣,該參數對應的分配內存也是每連接獨享。

myisam_sort_buffer_size = 64M

table_cache = 512

thread_cache_size = 64

query_cache_size = 64M

#指定MySQL查詢緩沖區的大小。可以通過在MySQL控制台觀察,如果Qcache_lowmem_prunes的值非常大,則表明經常出現緩沖不夠的情況;如果Qcache_hits的值非常大,則表明查詢緩沖使用非常頻繁,如果該值較小反而會影響效率,那么可以考慮不用查詢緩沖;Qcache_free_blocks,如果該值非常大,則表明緩沖區中碎片很多。

tmp_table_size = 256M

max_connections = 768

#指定MySQL允許的最大連接進程數。如果在訪問論壇時經常出現Too Many Connections的錯誤提 示,則需要增大該參數值。

max_connect_errors = 10000000

wait_timeout = 10

#指定一個請求的最大連接時間,對於4GB左右內存的服務器可以設置為5-10。

thread_concurrency = 8

#該參數取值為服務器邏輯CPU數量*2,在本例中,服務器有2顆物理CPU,而每顆物理CPU又支持H.T超線程,所以實際取值為4*2=8

skip-networking

#開啟該選項可以徹底關閉MySQL的TCP/IP連接方式,如果WEB服務器是以遠程連接的方式訪問MySQL數據庫服務器則不要開啟該選項!否則將無法正常連接!

table_cache=1024

#物理內存越大,設置就越大.默認為2402,調到512-1024最佳

innodb_additional_mem_pool_size=4M

#默認為2M

innodb_flush_log_at_trx_commit=1

#設置為0就是等到innodb_log_buffer_size列隊滿后再統一儲存,默認為1

innodb_log_buffer_size=2M

#默認為1M

innodb_thread_concurrency=8

#你的服務器CPU有幾個就設置為幾,建議用默認一般為8

key_buffer_size=256M

#默認為218,調到128最佳

tmp_table_size=64M

#默認為16M,調到64-256最掛

read_buffer_size=4M

#默認為64K

read_rnd_buffer_size=16M

#默認為256K

sort_buffer_size=32M

#默認為256K

thread_cache_size=120

#默認為60

query_cache_size=32M

值得注意的是:

很多情況需要具體情況具體分析

1、如果key_reads太大,則應該把my.cnf中key_buffer_size變大,保持key_reads/key_read_requests至少1/100以上,越小越好。

2、如果qcache_lowmem_prunes很大,就要增加query_cache_size的值。

常用配置:

[mysqld]

port = 3306 #默認
pid-file =  /data/mysql/mysql.pid
basedir =  /usr/local/mysql/ #程序安裝目錄
symbolic-link = 0  #多客戶訪問同一數據庫,該選項默認開啟
tmpdir =  /usr/local/mysql/tmp/ #此目錄被 MySQL用來保存臨時文件
open_files_limit = 65535 #打開時,和max_connections對比,取大數
datadir = /var/lib/mysql  #數據庫目錄
log-error = /var/lib/mysql/error.log
slow_query_log=on   #開啟慢查詢日志相關
long_query_time=2   #默認10秒
slow_query_log_file = /var/log/mysql/slow_query.log  #慢查詢日志路徑
log-queries-not-using-indexes = 1   #記錄沒有使用索引的sql
 
socket=/var/lib/mysql/mysql.sock  #該條配置需在[client]段同時配置
default_storage_engine=InnoDB
innodb_file_per_table = on     #InnoDB為獨立表空間模式,每個數據庫的每個表都會生成一個數據空間
innodb_buffer_pool_size=4G     #生產中要改,建議為操作系統內存的70%-80%,需重啟服務生效
skip_name_resolve = on         #忽略主機名解析,提高訪問速度(注意配置文件中使用主機名將不能解析)
lower_case_table_names = 1     #忽略表單大小寫
character-set-server=utf8mb4   #設定默認字符為utf8mb4

1.使用innodb注意事項

a) 所有InnoDB數據表都創建一個和業務無關的自增數字型作為主鍵,對保證性能很有幫助;
b) 杜絕使用text/blob,確實需要使用的,盡可能拆分出去成一個獨立的表;
c) 時間戳建議使用 TIMESTAMP 類型存儲;
d) IPV4 地址建議用 INT UNSIGNED 類型存儲;
e) 性別等非是即非的邏輯,建議采用 TINYINT 存儲,而不是 CHAR(1);例可以使用0,1,2來表示,未知,男,女,優點搜索快,缺點顯示/存儲都要轉換
f) 存儲較長文本內容時,建議采用JSON/BSON格式存儲;

2.查詢緩存相關

query_cache_type=1  #0表示禁用緩存,1表示會緩存所有的結果,2表示只緩存SQL_CACHE緩存
query_cache_limit = 2M
query_cache_size = 64M 或32M 或128M 

3.系統資源相關

back_log = 500  #如果系統在一個短時間內有很多連接,則需要增大該參數的值小於512
max_connections = 1000 #默認100,生產則需要增大該參數值,最大連接數16384

4.二進制日志相關

server_id=1                    
log_bin=mysql-bin
#log-bin-index=master-bin.index
expire_logs_days = 7
#binlog_format = row    #默認為mix,新版中設為這兩項可提高安全性
#binlog_row_image = minimal
max_binlog_size = 100m   #默認是1G
binlog_cache_size = 4m
#binlog-do-db = DBNAME #指定mysql的binlog日志只記錄哪個庫
max_binlog_cache_size = 512m  #生產4g
#skip-slave-start

不常使用

[mysqld]
 
slave-load-tmpdir =  /usr/local/mysql/tmp/   
#當 slave 執行 load data infile 時用skip-external-locking
#不使用系統鎖定,要使用 myisamchk,必須關閉服務器 ,避免 MySQL的外部鎖定,減少出錯幾率增強穩定性。
 
skip-networking 
#開啟該選項可以徹底關閉 MySQL 的 TCP/IP 連接方式,
#如果 WEB 服務器是以遠程連接的方式訪問 MySQL 數據庫服務器則不要開啟該選項!否則將無法正常連接!
#如果所有的進程都是在同一台服務器連接到本地的 mysqld, 這樣設置將是增強安全的方法。
 
sysdate-is-now = 1 
#把SYSDATE 函數編程為 NOW的別名
 
default-time-zone = system
#服務器時區,或者'+08:00'
 
default_table_type = InnoDB
#默認表類型
 
default-storage-engine = InnoDB
#默認存儲引擎

系統資源相關

max_connect_errors = 10000  
#如果某個用戶發起的連接 error 超過該數值,則該用戶的下次連接將被阻塞,直到管理員執行 flush hosts命令或者服務重啟, 
#防止非法的密碼以及其他在鏈接時的錯誤會增加此值
 
connect-timeout = 10 
#連接超時之前的最大秒數,在 Linux 平台上,該超時也用作等待服務器首次回應的時間
 
wait-timeout = 28800 #等待關閉連接的時間
 
interactive-timeout = 28800 
#關閉連接之前,允許 interactive_timeout(取代了wait_timeout)秒的不活動時間。
#客戶端的會話 wait_timeout 變量被設為會話interactive_timeout 變量的值。
#如果前端程序采用短連接,建議縮短這2個值, 如果前端程序采用長連接,可直接注釋掉這兩個選項,
#默認配置(8小時)  
 
slave-net-timeout = 600 
#從服務器也能夠處理網絡連接中斷。但是,只有從服務器超過slave_net_timeout 秒沒有從主服務器收到數據才通知網絡中斷
 
net_read_timeout = 30      #從服務器讀取信息的超時
 
net_write_timeout = 60     #從服務器寫入信息的超時
 
net_retry_count = 10       #如果某個通信端口的讀操作中斷了,在放棄前重試多次。
 
net_buffer_length = 16384  
#包消息緩沖區初始化為 net_buffer_length 字節,但需要時可以增長到 max_allowed_packet 字節
 
max_allowed_packet = 64M
#服務所能處理的請求包的最大大小以及服務所能處理的最大的請求大小
#當與大的BLOB 字段一起工作時相當必要, 每個連接獨立的大小.大小動態增加。
#設置最大包,限制server接受的數據包大小,避免超長SQL的執行有問題 默認值為16M,
#當MySQL客戶端或mysqld服務器收到大於 max_allowed_packet 字節的信息包時,將發出“信息包過大”錯誤,並關閉連接。
#對於某些客戶端,如果通信信息包過大,在執行查詢期間,可能會遇到“丟失與 MySQL 服務器的連接”錯誤。默認值 16M。
 
table_cache = 512 
# 所有線程所打開表的數量. 增加此值就增加了mysqld所需要的文件描述符的數量這樣你需要確認在
# [mysqld_safe]中 “open-files-limit” 變量設置打開文件數量允許至少4096
 
thread_stack = 192K 
# 線程使用的堆大小. 此容量的內存在每次連接時被預留.
# MySQL本身常不會需要超過 64K 的內存如果你使用你自己的需要大量堆的 UDF 函數
# 或者你的操作系統對於某些操作需要更多的堆,你也許需要將其設置的更高一點.默認設置足以滿足大多數應用
 
thread_cache_size = 20 
#在 cache 中保留多少線程用於重用.當一個客戶端斷開連接后,
#如果 cache 中的線程還少於 thread_cache_size,則客戶端線程被放入 cache 中.
#這可以在你需要大量新連接的時候極大的減少線程創建的開銷(一般來說如果你有好的線程模型的話,這不會有明顯的性能提升.)
 
thread_concurrency = 8  
#允許應用程序給予線程系統一個提示在同一時間給予渴望被運行的線程的數量.該參數取值為服務器邏輯CPU數量×2
 
query_cache_min_res_unit = 2K 
#查詢緩存分配的最小塊大小.默認是 4KB,設置值大對大數據查詢有好處,但如果你的查詢都是小數據查詢,
#就容易造成內存碎片和浪費查詢緩存碎片率=Qcache_free_blocks/Qcache_total_blocks*100%
#如果查詢緩存碎片率超過 20%,可以用 FLUSH QUERY CACHE 整理緩存碎片,
#或者試試減小query_cache_min_res_unit,
#如果你的查詢都是小數據量的話。查詢緩存利用率 = (query_cache_size – Qcache_free_memory) / query_cache_size *100%
#查詢緩存利用率在25%以下的話說明 query_cache_size 設置的過大,可適當減小;
#查詢緩存利用率在 80%以上而且 Qcache_lowmem_prunes > 50 的話
#說明 query_cache_size 可能有點小,要不就是碎片太多。
#查詢緩存命中率 = (Qcache_hits – Qcache_inserts) / Qcache_hits * 100%
 
tmp_table_size = 512M 
#臨時表的最大大小,如果超過該值,則結果放到磁盤中,此限制是針對單個表的,而不是總和
 
max_heap_table_size = 512M 
#獨立的內存表所允許的最大容量.此選項為了防止意外創建一個超大的內存表導致用盡所有的內存資源

INNODB 相關選項

skip-innodb 
#如果你的MySQL服務包含 InnoDB 支持但是並不打算使用的話,
#使用此選項會節省內存以及磁盤空間,並且加速某些部分
 
innodb_status_file = 1 
#啟用InnoDB的status file,便於管理員查看以及監控等 show engine innodb status\G
 
innodb_open_files = 2048 
#限制Innodb能打開的表的數據,如果庫里的表特別多的情況,請增加這個。這個值默認是300
 
innodb_additional_mem_pool_size = 100M 
#設置InnoDB存儲引擎用來存放數據字典信息以及一些內部數據結構的內存空間大小,
#所以當我們一個MySQL Instance中的數據庫對象非常多的時候,
#是需要適當調整該參數的大小以確保所有數據都能存放在內存中提高訪問效率的。
 
innodb_write_io_threads = 4
innodb_read_io_threads = 4
#innodb使用后台線程處理數據頁上的讀寫 I/O(輸入輸出)請求,根據你的 CPU 核數來更改,默認是4
#注:這兩個參數不支持動態改變,需要把該參數加入到my.cnf里,
#修改完后重啟MySQL服務,允許值的范圍從 1-64
 
innodb_data_home_dir =  /usr/local/mysql/var/ 
#設置此選項如果你希望 InnoDB 表空間文件被保存在其他分區.默認保存在 MySQL 的 datadir 中.
 
innodb_data_file_path = ibdata1:500M;ibdata2:2210M:autoextend
#InnoDB將數據保存在一個或者多個數據文件中成為表空間.如果你只有單個邏輯驅動保存你的數據,
#一個單個的自增文件就足夠好了.其他情況下.
#每個設備一個文件一般都是個好的選擇.你也可以配置 InnoDB 來使用裸盤分區
 
innodb_file_io_threads = 4 
#用來同步 IO 操作的 IO 線程的數量. 
#此值在 Unix 下被硬編碼為 4,但是在 Windows 磁盤 I/O 可能在一個大數值下表現的更好.
 
innodb_thread_concurrency = 16
#在InnoDb 核心內的允許線程數量,InnoDB 試着在 InnoDB 內保持操作系統線程的數量少於或等於這個參數
#給出的限制,最優值依賴於應用程序,硬件以及操作系統的調度方式.過高的值可能導致線程的互斥顛簸.
#默認設置為 0,表示不限制並發數,這里推薦設置為0,更好去發揮CPU多核處理能力,提高並發量
 
innodb_flush_log_at_trx_commit = 1 
#0 每秒將日志緩沖區寫入log file,並同時flush到磁盤。跟事務提交無關。在機器crash並重啟后,
#0 會丟失一秒的事務日志數據(並不一定是1s,也許會有延遲,跟操作系統調度有關)。
#1 每次事務提交將日志緩沖區寫入log file,並同時flush到磁盤。(crash不會丟失事務日志)
#2 每次事務提交將日志緩沖區寫入log file,每秒flush一次到磁盤。(crash有可能丟失數據)
 
innodb_log_buffer_size = 8M 
#用來緩沖日志數據的緩沖區的大小.當此值快滿時, InnoDB 將必須刷新數據到磁盤上.
#由於基本上每秒都會刷#新一次,所以沒有必要將此值設置的太大(甚至對於長事務而言)
 
innodb_log_file_size = 500M 
#事務日志大小.在日志組中每個日志文件的大小,
#你應該設置日志文件總合大小到你緩沖池大小的5%~100%,
#來避免在日志文件覆寫上不必要的緩沖池刷新行為.不論如何,
#請注意一個大的日志文件大小會增加恢復進程所需要的時間.
 
innodb_log_files_in_group = 2 
#在日志組中的文件總數.通常來說 2~3 是比較好的.
 
innodb_log_group_home_dir =  /usr/local/mysql/var/
#InnoDB的日志文件所在位置. 默認是 MySQL 的 datadir.
#你可以將其指定到一個獨立的硬盤上或者一個 RAID1 卷上來提高其性能
 
innodb_max_dirty_pages_pct = 90 #innodb 
#主線程刷新緩存池中的數據,使臟數據比例小於 90%,這是一個軟限制,不被保證絕對執行.
 
innodb_lock_wait_timeout = 50 
#InnoDB 事務在被回滾之前可以等待一個鎖定的超時秒數。
#InnoDB在它自己的鎖定表中自動檢測事務死鎖並且回滾事務。
#InnoDB用LOCK TABLES語句注意到鎖定設置。默認值是50秒
 
innodb_flush_method = O_DSYNC 
#InnoDB 用來刷新日志的方法.表空間總是使用雙重寫入刷新方法.
#默認值是 “fdatasync”, 另一個是 “O_DSYNC”.
 
innodb_force_recovery=1
 
#如果你發現InnoDB 表空間損壞, 設置此值為一個非零值可能幫助你導出你的表.
#從1 開始並且增加此值知道#你能夠成功的導出表.
 
innodb_fast_shutdown 
#加速InnoDB的關閉. 這會阻止InnoDB在關閉時做全清除以及插入緩沖合並.
#但是取而代之的是InnoDB可能在下次啟動時做這些操作.

其他相關:

[mysqldump]
quick

[mysql]
auto-rehash                    #允許通過 TAB 鍵提示
default-character-set = utf8   #數據庫字符集
connect-timeout = 3

[client]
default-character-set=utf8

[mysqld_safe]
open-files-limit = 8192
#增加每個進程的可打開文件數量.確認你已經將全系統限制設定的足夠高!打開大量表需要將此值設大

————————————————
版權聲明:本文為CSDN博主「tom馬」的原創文章,遵循 CC 4.0 BY-SA 版權協議,轉載請附上原文出處鏈接及本聲明。
原文鏈接:https://blog.csdn.net/mshxuyi/article/details/93881939


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM