數據庫的基准測試是對數據庫的性能指標進行定量的、可復現的、可對比的測試。
基准測試與壓力測試
基准測試可以理解為針對系統的一種壓力測試。但基准測試不關心業務邏輯，更加簡單、直接、易於測試，數據可以由工具生成，不要求真實；而壓力測試一般考慮業務邏輯(如購物車業務)，要求真實的數據。
2、基准測試的作用
對於多數Web應用，整個系統的瓶頸在於數據庫；原因很簡單：Web應用中的其他因素，例如網絡帶寬、負載均衡節點、應用服務器（包括CPU、內存、硬盤燈、連接數等）、緩存，都很容易通過水平的擴展（俗稱加機器）來實現性能的提高。而對於MySQL，由於數據一致性的要求，無法通過增加機器來分散向數據庫寫數據帶來的壓力；雖然可以通過前置緩存（Redis等）、讀寫分離、分庫分表來減輕壓力，但是與系統其它組件的水平擴展相比，受到了太多的限制。
而對數據庫的基准測試的作用，就是分析在當前的配置下（包括硬件配置、OS、數據庫設置等），數據庫的性能表現，從而找出MySQL的性能閾值，並根據實際系統的要求調整配置。
3、基准測試的指標
常見的數據庫指標包括：
- TPS/QPS：衡量吞吐量。
- 響應時間：包括平均響應時間、最小響應時間、最大響應時間、時間百分比等，其中時間百分比參考意義較大，如前95%的請求的最大響應時間。。
- 並發量：同時處理的查詢請求的數量。
4、基准測試的分類
對MySQL的基准測試，有如下兩種思路：
（1）針對整個系統的基准測試：通過http請求進行測試，如通過瀏覽器、APP或postman等測試工具。該方案的優點是能夠更好的針對整個系統，測試結果更加准確；缺點是設計復雜實現困難。
（2）只針對MySQL的基准測試：優點和缺點與針對整個系統的測試恰好相反。
在針對MySQL進行基准測試時，一般使用專門的工具進行，例如mysqlslap、sysbench等。其中，sysbench比mysqlslap更通用、更強大，且更適合Innodb（因為模擬了許多Innodb的IO特性），下面介紹使用sysbench進行基准測試的方法。
二、sysbench
1、sysbench簡介
sysbench是跨平台的基准測試工具，支持多線程，支持多種數據庫；主要包括以下幾種測試：
- cpu性能
- 磁盤io性能
- 調度程序性能
- 內存分配及傳輸速度
- POSIX線程性能
- 數據庫性能(OLTP基准測試)
本文主要介紹對數據庫性能的測試。
2、sysbench安裝
本文使用的環境時CentOS 6.5；在其他Linux系統上的安裝方法大同小異。MySQL版本是5.6。
（1）下載解壓
|
1
2
3
|
wget https://github.com/akopytov/sysbench/archive/1.0.zip -O
"sysbench-1.0.zip"
unzip sysbench-1.0.zip
cd sysbench-1.0
|
（2）安裝依賴
|
1
|
yum install automake libtool –y
|
（3）安裝
安裝之前，確保位於之前解壓的sysbench目錄中。
|
1
2
3
4
5
|
./autogen.sh
./configure
export LD_LIBRARY_PATH=/usr/
local
/mysql/include #這里換成機器中mysql路徑下的include
make
make install
|
（4）安裝成功
|
1
2
|
[root@test sysbench-1.0]# sysbench
--version
sysbench 1.0.9
|
3、sysbench語法
執行sysbench –help，可以看到sysbench的詳細使用方法。
sysbench的基本語法如下：
sysbench [options]... [testname] [command]
下面說明實際使用中，常用的參數和命令。
（1）command
command是sysbench要執行的命令，包括prepare、run和cleanup，顧名思義，prepare是為測試提前准備數據，run是執行正式的測試，cleanup是在測試完成后對數據庫進行清理。
（2）testname
testname指定了要進行的測試，在老版本的sysbench中，可以通過--test參數指定測試的腳本；而在新版本中，--test參數已經聲明為廢棄，可以不使用--test，而是直接指定腳本。
例如，如下兩種方法效果是一樣的：
|
1
2
|
sysbench
--test=./tests/include/oltp_legacy/oltp.lua
sysbench ./tests/include/oltp_legacy/oltp.lua
|
測試時使用的腳本為lua腳本，可以使用sysbench自帶腳本，也可以自己開發。對於大多數應用，使用sysbench自帶的腳本就足夠了。不同版本的sysbench中，lua腳本的位置可能不同，可以自己在sysbench路徑下使用find命令搜索oltp.lua。P.S.：大多數數據服務都是oltp類型的，如果你不了解什么是oltp，那么大概率你的數據服務就是oltp類型的。
（3）options
sysbench的參數有很多，其中比較常用的包括：
MySQL連接信息參數
- --mysql-host：MySQL服務器主機名，默認localhost；如果在本機上使用localhost報錯，提示無法連接MySQL服務器，改成本機的IP地址應該就可以了。
- --mysql-port：MySQL服務器端口，默認3306
- --mysql-user：用戶名
- --mysql-password：密碼
MySQL執行參數
- --oltp-test-mode：執行模式，包括simple、nontrx和complex，默認是complex。simple模式下只測試簡單的查詢；nontrx不僅測試查詢，還測試插入更新等，但是不使用事務；complex模式下測試最全面，會測試增刪改查，而且會使用事務。可以根據自己的需要選擇測試模式。
- --oltp-tables-count：測試的表數量，根據實際情況選擇
- --oltp-table-size：測試的表的大小，根據實際情況選擇
- --threads：客戶端的並發連接數
- --time：測試執行的時間，單位是秒，該值不要太短，可以選擇120
- --report-interval：生成報告的時間間隔，單位是秒，如10
4、sysbench使用舉例
在執行sysbench時，應該注意：
（1）盡量不要在MySQL服務器運行的機器上進行測試，一方面可能無法體現網絡（哪怕是局域網）的影響，另一方面，sysbench的運行（尤其是設置的並發數較高時）會影響MySQL服務器的表現。
（2）可以逐步增加客戶端的並發連接數（--thread參數），觀察在連接數不同情況下，MySQL服務器的表現；如分別設置為10,20,50,100等。
（3）一般執行模式選擇complex即可，如果需要特別測試服務器只讀性能，或不使用事務時的性能，可以選擇simple模式或nontrx模式。
（4）如果連續進行多次測試，注意確保之前測試的數據已經被清理干凈。
下面是sysbench使用的一個例子：
（1）准備數據
|
1
|
sysbench ./tests/include/oltp_legacy/oltp.lua
--mysql-host=192.168.10.10 --mysql-port=3306 --mysql-user=root --mysql-password=123456 --oltp-test-mode=complex --oltp-tables-count=10 --oltp-table-size=100000 --threads=10 --time=120 --report-interval=10 prepare
|
其中，執行模式為complex，使用了10個表，每個表有10萬條數據，客戶端的並發線程數為10，執行時間為120秒，每10秒生成一次報告。
（2）執行測試
將測試結果導出到文件中，便於后續分析。
|
1
|
sysbench ./tests/include/oltp_legacy/oltp.lua
--mysql-host=192.168.10.10 --mysql-port=3306 --mysql-user=root --mysql-password=123456 --oltp-test-mode=complex --oltp-tables-count=10 --oltp-table-size=100000 --threads=10 --time=120 --report-interval=10 run >> /home/test/mysysbench.log
|
（3）清理數據
執行完測試后，清理數據，否則后面的測試會受到影響。
|
1
|
sysbench ./tests/include/oltp_legacy/oltp.lua
--mysql-host=192.168.10.10 --mysql-port=3306 --mysql-user=root --mysql-password=123456 cleanup
|
5、測試結果
測試結束后，查看輸出文件，如下所示：
其中，對於我們比較重要的信息包括：
queries：查詢總數及qps
transactions：事務總數及tps
Latency-95th percentile：前95%的請求的最大響應時間，本例中是344毫秒，這個延遲非常大，是因為我用的MySQL服務器性能很差；在正式環境中這個數值是絕對不能接受的。
三、建議
下面是使用sysbench的一些建議。
1、在開始測試之前，應該首先明確：應采用針對整個系統的基准測試，還是針對MySQL的基准測試，還是二者都需要。
2、如果需要針對MySQL的基准測試，那么還需要明確精度方面的要求：是否需要使用生產環境的真實數據，還是使用工具生成也可以；前者實施起來更加繁瑣。如果要使用真實數據，盡量使用全部數據，而不是部分數據。
3、基准測試要進行多次才有意義。
4、測試時需要注意主從同步的狀態。
5、測試必須模擬多線程的情況，單線程情況不但無法模擬真實的效率，也無法模擬阻塞甚至死鎖情況。
參考文獻
http://blog.csdn.net/oahz4699092zhao/article/details/53332105
它主要包括以下幾種方式的測試：
- cpu性能
- 磁盤io性能
- 調度程序性能
- 內存分配及傳輸速度
- POSIX線程性能
- 數據庫性能(OLTP基准測試)
sysbench的數據庫OLTP測試支持MySQL、PostgreSQL、Oracle，目前主要用於Linux操作系統，開源社區已經將sysbench移植到了Windows，並支持SQL Server的基准測試。
廢話不多說，開始。
1. sysbench安裝
- mysql版本: mysql-community-server-5.6.29
- OS: CentOS 6.7 X86_64
- sysbench 0.5相比0.4版本有一些變化，包括oltp測試結合了lua腳本，還多了一些隱藏選項，本文會涉及得到一部分。
目前許多倉庫里已編譯好的二進制sysbench還是0.4.x版本，不過現在主流也還是github上的0.5（我這里使用的是1.0），可以從 這里下載0.5版本的rpm包直接安裝，不過我選擇自己編譯，因為只有這個辦法是通用的。
2. 使用sysbench對mysql壓測
2.1 只讀示例
./bin/sysbench --test=share/sysbench/oltp.lua \
--mysql-host=10.229.153.175 --mysql-port=7001 --mysql-user=kp --mysql-password=kp123456 \
--mysql-db=conanwang --oltp-tables-count=10 --oltp-table-size=10000000 \
--report-interval=10 --oltp-dist-type=uniform --rand-init=on --max-requests=0 \
--oltp-test-mode=nontrx --oltp-nontrx-mode=select \
--oltp-read-only=on --oltp-skip-trx=on \
--max-time=120 --num-threads=12 \
prepare來准備好表和數據，run執行真正的壓測，cleanup用來清除數據和表。實際prepare的表結構：
上面的測試命令代表的是：對mysql進行oltp基准測試，表數量10，每表行數約1000w（幾乎delete多少就會insert的多少），並且是非事務的只讀測試，持續60s，並發線程數12。
需要說明的選項：
mysql-db=dbtest1a：測試使用的目標數據庫，這個庫名要事先創建--oltp-tables-count=10：產生表的數量--oltp-table-size=10000000：每個表產生的記錄行數--oltp-dist-type=uniform：指定隨機取樣類型，可選值有 uniform(均勻分布), Gaussian(高斯分布), special(空間分布)。默認是special--oltp-read-only=off：表示不止產生只讀SQL，也就是使用oltp.lua時會采用讀寫混合模式。默認 off，如果設置為on，則不會產生update,delete,insert的sql。--oltp-test-mode=nontrx：執行模式，這里是非事務式的。可選值有simple,complex,nontrx。默認是complex- simple：簡單查詢，SELECT c FROM sbtest WHERE id=N
- complex (advanced transactional)：事務模式在開始和結束事務之前加上begin和commit， 一個事務里可以有多個語句，如點查詢、范圍查詢、排序查詢、更新、刪除、插入等，並且為了不破壞測試表的數據，該模式下一條記錄刪除后會在同一個事務里添加一條相同的記錄。
- nontrx (non-transactional)：與simple相似，但是可以進行update/insert等操作，所以如果做連續的對比壓測，你可能需要重新cleanup,prepare。
-
--oltp-skip-trx=[on|off]：省略begin/commit語句。默認是off -
--rand-init=on：是否隨機初始化數據，如果不隨機化那么初始好的數據每行內容除了主鍵不同外其他完全相同 --num-threads=12： 並發線程數，可以理解為模擬的客戶端並發連接數--report-interval=10：表示每10s輸出一次測試進度報告--max-requests=0：壓力測試產生請求的總數，如果以下面的max-time來記，這個值設為0--max-time=120：壓力測試的持續時間，這里是2分鍾。
注意，針對不同的選項取值就會有不同的子選項。比如oltp-dist-type=special，就有比如oltp-dist-pct=1、oltp-dist-res=50兩個子選項，代表有50%的查詢落在1%的行（即熱點數據）上，另外50%均勻的(sample uniformly)落在另外99%的記錄行上。
再比如oltp-test-mode=nontrx時, 就可以有oltp-nontrx-mode，可選值有select（默認）, update_key, update_nokey, insert, delete，代表非事務式模式下使用的測試sql類型。
以上代表的是一個只讀的例子，可以把num-threads依次遞增（16,36,72,128,256,512），或者調整my.cnf參數，比較效果。另外需要注意的是，大部分mysql中間件對事務的處理，默認都是把sql發到主庫執行，所以只讀測試需要加上oltp-skip-trx=on來跳過測試中的顯式事務。
ps1: 只讀測試也可以使用share/tests/db/select.lua進行，但只是簡單的point select。
ps2: 我在用sysbench壓的時候，在mysql后端會話里有時看到大量的query cache lock，如果使用的是uniform取樣，最好把查詢緩存關掉。當然如果是做兩組性能對比壓測，因為都受這個因素影響，關心也不大。
2.2 混合讀寫
讀寫測試還是用oltp.lua，只需把--oltp-read-only等於off。
然而oltp-test-mode=nontrx一直沒有跟着我預期的去走，在mysql general log里面看到的sql記錄與complex模式相同。所以上面示例中的--oltp-test-mode=nontrx --oltp-nontrx-mode=select可以刪掉。
update:
sysbench作者 akopytov 對我這個疑問有了回復：https://github.com/akopytov/sysbench/issues/34 ，原來sysbench 0.5版本去掉了這個選項，因為作者正在准備1.0版本，所以也就沒有更新0.5版本的doc。網上的博客漫天飛，就沒有一個提出來的，也是沒誰了。
分析一下oltp.lua腳本內容，可以清楚單個事務各操作的默認比例：select:update_key:update_non_key:delete:insert = 14:1:1:1:1，可通過oltp-point-selects、oltp-simple-ranges、oltp-sum-ranges、oltp-order-ranges、oltp-distinct-ranges，oltp-index-updates、oltp-non-index-updates這些選項去調整讀寫權重。
同只讀測試一樣，在atlas,mycat這類中間件測試中如果不加oltp-skip-trx=on，那么所有查詢都會發往主庫，但如果在有寫入的情況下使用--oltp-skip-trx=on跳過BEGIN和COMMIT，會出現問題：
ALERT: failed to execute MySQL query:
INSERT INTO sbtest4 (id, k, c, pad) VALUES (48228, 47329, '82773802508-44916890724-85859319254-67627358653-96425730419-64102446666-75789993135-91202056934-68463872307-28147315305', '13146850449-23153169696-47584324044-14749610547-34267941374'):
ALERT: Error 1062 Duplicate entry ‘48228’ for key ‘PRIMARY’
FATAL: failed to execute function `event’: (null)
原因也很容易理解，每個線程將選擇一個隨機的表，不加事務的情況下高並發更新（插入）出現重復key的概率很大，但我們壓測不在乎這些數據，所以需要跳過這個錯誤--mysql-ignore-errors=1062，這個問題老外有出過打補丁的方案允許--mysql-ignore-duplicates=on，但作者新加入的忽略錯誤碼這個功能已經取代了它。mysql-ignore-errors選項是0.5版本加入的，但目前沒有文檔標明，也是我在github上提的 issue 作者回復的。
這里不得不佩服老外的辦事效率和責任心，提個疑惑能立馬得到回復，反觀國內，比如在atlas,mycat項目里提到問題到現在都沒人搭理。。。
2.3 只更新
如果基准測試的時候，你只想比較兩個項目的update（或insert）效率，那可以不使用oltp腳本，而直接改用update_index.lua：
此時像oltp-read-only=off許多參數都失效了。需要說明的是這里 (非)索引更新，不是where條件根據索引去查找更新，而是更新索引列上的值。
3. 結果解讀
我們一般關注的用於繪圖的指標主要有：
- response time avg: 平均響應時間。（后面的95%的大小可以通過
--percentile=98的方式去更改） - transactions: 精確的說是這一項后面的TPS 。但如果使用了
-oltp-skip-trx=on，這項事務數恆為0，需要用total number of events去除以總時間，得到tps（其實還可以分為讀tps和寫tps） - read/write requests: 用它除以總時間，得到吞吐量QPS
- 當然還有一些系統層面的cpu,io,mem相關指標
sysbench還可以對文件系統IO測試，CPU性能測試，以及內存分配與傳輸速度測試，這里就不介紹了。
總結起來sysbench的缺點就是，模擬的表結構太簡單，不像tpcc-mysql那樣完整的事務系統。但對於性能壓測對比還是很有用的，因為sysbench使用的環境參數限制是一樣的。