MySQL數據庫壓測

作為開發人員，對數據庫進行基准測試，以掌握數據庫的性能情況是非常必要的。本文介紹了MySQL基准測試的基本概念，以及使用 sysbench 對MySQL進行基准測試的詳細方法。

數據庫基准測試

什么是基准測試

數據庫的基准測試是對數據庫的性能指標進行定量的、可復現的、可對比的測試。

基准測試與壓力測試

• 基准測試可以理解為針對系統的一種壓力測試。但基准測試不關心業務邏輯，更加簡單、直接、易於測試，數據可以由工具生成，不要求真實；
• 而壓力測試一般考慮業務邏輯(如購物車業務)，要求真實的數據。

基准測試的作用

對於多數Web應用，整個系統的瓶頸在於數據庫；原因很簡單：Web應用中的其他因素，例如網絡帶寬、負載均衡節點、應用服務器（包括CPU、內存、硬盤燈、連接數等）、緩存，都很容易通過水平的擴展（俗稱加機器）來實現性能的提高。而對於MySQL，由於數據一致性的要求，無法通過增加機器來分散向數據庫寫數據帶來的壓力；雖然可以通過前置緩存（Redis等）、讀寫分離、分庫分表來減輕壓力，但是與系統其它組件的水平擴展相比，受到了太多的限制。

而對數據庫的基准測試的作用，就是分析在當前的配置下（包括硬件配置、OS、數據庫設置等），數據庫的性能表現，從而找出MySQL的性能閾值，並根據實際系統的要求調整配置。

基准測試的指標

常見的數據庫指標包括：

• TPS/QPS：衡量吞吐量。

• 響應時間：包括平均響應時間、最小響應時間、最大響應時間、時間百分比等，其中時間百分比參考意義較大，如前95%的請求的最大響應時間。。

• 並發量：同時處理的查詢請求的數量。

基准測試的分類

對MySQL的基准測試，有如下兩種思路：

（1）針對整個系統的基准測試：通過http請求進行測試，如通過瀏覽器、APP或postman等測試工具。該方案的優點是能夠更好的針對整個系統，測試結果更加准確；缺點是設計復雜實現困難。

（2）只針對MySQL的基准測試：優點和缺點與針對整個系統的測試恰好相反。

在針對MySQL進行基准測試時，一般使用專門的工具進行，例如mysqlslap、sysbench等。其中，sysbench比mysqlslap更通用、更強大，且更適合Innodb（因為模擬了許多Innodb的IO特性），下面介紹使用sysbench進行基准測試的方法。

使用mtr進行網絡時延測試

mtr簡介

mtr是Linux中有一個非常棒的網絡連通性判斷工具，它結合了ping, traceroute,nslookup 的相關特性。

mtr結果說明

第一列:顯示的是IP地址和本機域名，這點和traceroute很像
第二列:snt:10 設置每秒發送數據包的數量，默認值是10 可以通過參數 -c來指定。其中-c的說明是：–report-cycles COUNT
第三列:是顯示的每個對應IP的丟包率
第四列:顯示的最近一次的返回時延
第五列:是平均值 這個應該是發送ping包的平均時延
第六列:是最好或者說時延最短的
第七列:是最差或者說時延最常的
第八列:是標准偏差

mtr測試網絡時延

舊庫網絡延時

$ mtr -s 100 --report -n 11.171.68.253
Start: Wed Dec 29 17:51:31 2021
HOST: ack-troopers033011196118.pr Loss%   Snt   Last   Avg  Best  Wrst StDev
  1.|-- 11.57.244.37               0.0%    10    4.4   5.0   4.3   8.1   0.9
  2.|-- 11.57.244.37               0.0%    10    4.1   4.6   4.1   5.4   0.0
  3.|-- 11.129.109.46              0.0%    10    2.8   4.3   2.7  10.1   2.4
  4.|-- 11.171.68.253              0.0%    10    2.2   2.2   2.2   2.3   0.0
 
# 輔助 ping 測試
$ ping -s 100 -c 5 11.171.68.253
PING 11.171.68.253 (11.171.68.253) 100(128) bytes of data.
108 bytes from 11.171.68.253: icmp_seq=1 ttl=99 time=2.21 ms
108 bytes from 11.171.68.253: icmp_seq=2 ttl=99 time=2.24 ms
108 bytes from 11.171.68.253: icmp_seq=3 ttl=99 time=2.22 ms
108 bytes from 11.171.68.253: icmp_seq=4 ttl=99 time=2.23 ms
108 bytes from 11.171.68.253: icmp_seq=5 ttl=99 time=2.21 ms

--- 11.171.68.253 ping statistics ---
5 packets transmitted, 5 received, 0% packet loss, time 4003ms
rtt min/avg/max/mdev = 2.216/2.226/2.240/0.052 ms

新庫網絡延時

$ mtr -s 100 --report -n 11.20.31.251
Start: Wed Dec 29 17:49:44 2021
HOST: ack-troopers033011196118.pr Loss%   Snt   Last   Avg  Best  Wrst StDev
  1.|-- 11.20.31.251               0.0%    10    1.0   1.0   1.0   1.0   0.0

# ping 測試
$ ping -s 100 -c 5 11.20.31.251
PING 11.20.31.251 (11.20.31.251) 100(128) bytes of data.
108 bytes from 11.20.31.251: icmp_seq=1 ttl=102 time=0.984 ms
108 bytes from 11.20.31.251: icmp_seq=2 ttl=102 time=0.988 ms
108 bytes from 11.20.31.251: icmp_seq=3 ttl=102 time=1.00 ms
108 bytes from 11.20.31.251: icmp_seq=4 ttl=102 time=0.995 ms
108 bytes from 11.20.31.251: icmp_seq=5 ttl=102 time=0.997 ms

--- 11.20.31.251 ping statistics ---
5 packets transmitted, 5 received, 0% packet loss, time 4003ms
rtt min/avg/max/mdev = 0.984/0.993/1.003/0.028 ms

結果分析

• 單從網絡時延來看，應用連接上海OXS區的時延比應用連接舊庫的時延小。

使用sysbench進行基准測試

sysbench簡介

sysbench是跨平台的基准測試工具，支持多線程，支持多種數據庫；主要包括以下幾種測試：

• cpu性能

• 磁盤io性能

• 調度程序性能

• 內存分配及傳輸速度

• POSIX線程性能

• 數據庫性能(OLTP基准測試)

此次主要介紹對數據庫性能的測試。

sysbench工具安裝

sysbench 在 Linux 系統上采用手動編譯的方式進行安裝：

# 安裝編譯用到的工具包
$ yum -y install mariadb-devel automake libtool make

# 獲取 sysbench 源碼包，解壓，並進入sysbench目錄
$ wget https://github.com/akopytov/sysbench/archive/1.0.zip -O "sysbench-1.0.zip"
$ unzip sysbench-1.0.zip && cd sysbench-1.0

# 編譯sysbench
$ ./autogen.sh
$ ./configure
$ make && make install

# 查看是否編譯成功，查看 sysbench 版本信息
$ sysbench --version

sysbench壓測參數

sysbench的語法，這里就不在介紹了。稍微介紹下 sysbench 的參數，因為解析來我們會用到這些參數。下面以壓測mysql為例：

### 數據庫連接信息參數
#MySQL服務器主機名，默認localhost；如果在本機上使用localhost報錯，提示無法連接MySQL服務器，改成本機的IP地址應該就可以了。
--mysql-host 
#MySQL服務器端口，默認3306
--mysql-port
#用戶名
--mysql-user
#密碼
--mysql-password

### 執行參數，或者說壓測定義參數
#執行模式，包括simple、nontrx和complex，默認是complex。simple模式下只測試簡單的查詢；nontrx不僅測試查詢，還測試插入更新等，但是不使用事務；complex模式下測試最全面，會測試增刪改查，而且會使用事務。可以根據自己的需要選擇測試模式。
--oltp-test-mode
#測試的表數量，根據實際情況選擇
--oltp-tables-count
#測試的表的大小，根據實際情況選擇
--oltp-table-size
#客戶端的並發連接數
--threads
#測試執行的時間，單位是秒，該值不要太短，可以選擇120
--time
#生成報告的時間間隔，單位是秒，如10
--report-interval

sysbench壓測用例

用例一：10表並發寫，每表寫10w條數據，執行時間120s

#准備數據
$ sysbench ./tests/include/oltp_legacy/oltp.lua \
--mysql-host=11.20.31.251 \
--mysql-port=3306 \
--mysql-user=test_db \
--mysql-password=**** \
--oltp-test-mode=complex \
--oltp-tables-count=10 \
--oltp-table-size=100000 \
--threads=10 \
--time=120 \
--report-interval=10 prepare

#執行測試，並將結果輸出至本地文件 mysysbench.log
$ sysbench ./tests/include/oltp_legacy/oltp.lua \
--mysql-host=11.20.31.251 \
--mysql-port=3306 \
--mysql-user=test_db \
--mysql-password=**** \
--oltp-test-mode=complex \
--oltp-tables-count=10 \
--oltp-table-size=100000 \
--threads=10 \
--time=120 \
--report-interval=10 run >> ./mysysbench.log

#清理數據
$ sysbench ./tests/include/oltp_legacy/oltp.lua \
--mysql-host=11.20.31.251 \
--mysql-port=3306 \
--mysql-db=sbtest \
--mysql-user=test_db \
--mysql-password=**** cleanup

結果分析：上海（p95 latency） = 64.47ms， 杭州（p95 latency） = 244.38ms

用例二：10表並發寫，單表500w條數據，執行120s

#准備數據
sysbench ./tests/include/oltp_legacy/oltp.lua \
--mysql-host=11.20.31.251 \
--mysql-port=3306 \
--mysql-user=test_db \
--mysql-password=xxx \
--oltp-test-mode=complex \
--oltp-tables-count=10 \
--oltp-table-size=5000000 \
--threads=10 \
--time=120 \
--report-interval=10 prepare

#執行測試
sysbench ./tests/include/oltp_legacy/oltp.lua \
--mysql-host=11.20.31.251 \
--mysql-port=3306 \
--mysql-user=test_db \
--mysql-password=xxx \
--oltp-test-mode=complex \
--oltp-tables-count=10 \
--oltp-table-size=5000000 \
--threads=10 \
--time=120 \
--report-interval=10 run >> ./mysysbench.log

#清理數據
$ sysbench ./tests/include/oltp_legacy/oltp.lua \
--mysql-host=11.20.31.251 \
--mysql-port=3306 \
--mysql-db=sbtest \
--mysql-user=test_db \
--mysql-password=xxx cleanup

結果分析：p95 latency = 69.29ms

用例三：單表500w條數據，執行120s

#准備數據
sysbench ./tests/include/oltp_legacy/oltp.lua \
--mysql-host=11.20.31.251 \
--mysql-port=3306 \
--mysql-user=test_db \
--mysql-password=xxx \
--oltp-test-mode=complex \
--oltp-tables-count=1 \
--oltp-table-size=5000000 \
--threads=10 \
--time=120 \
--report-interval=10 prepare

#執行測試
sysbench ./tests/include/oltp_legacy/oltp.lua \
--mysql-host=11.20.31.251 \
--mysql-port=3306 \
--mysql-user=test_db \
--mysql-password=xxx \
--oltp-test-mode=complex \
--oltp-tables-count=1 \
--oltp-table-size=5000000 \
--threads=10 \
--time=120 \
--report-interval=10 run >> ./mysysbench.log

#清理數據
$ sysbench ./tests/include/oltp_legacy/oltp.lua \
--mysql-host=11.20.31.251 \
--mysql-port=3306 \
--mysql-db=sbtest \
--mysql-user=test_db \
--mysql-password=xxx cleanup

結果分析：p95 latency = 64.47ms

用例四：單表1000w條數據，執行120s

#准備數據
sysbench ./tests/include/oltp_legacy/oltp.lua \
--mysql-host=11.20.31.251 \
--mysql-port=3306 \
--mysql-user=test_db \
--mysql-password=xxx \
--oltp-test-mode=complex \
--oltp-tables-count=1 \
--oltp-table-size=10000000 \
--threads=10 \
--time=120 \
--report-interval=10 prepare

#執行測試
sysbench ./tests/include/oltp_legacy/oltp.lua \
--mysql-host=11.20.31.251 \
--mysql-port=3306 \
--mysql-user=test_db \
--mysql-password=xxx \
--oltp-test-mode=complex \
--oltp-tables-count=1 \
--oltp-table-size=10000000 \
--threads=10 \
--time=120 \
--report-interval=10 run >> ./mysysbench.log

#清理數據
$ sysbench ./tests/include/oltp_legacy/oltp.lua \
--mysql-host=11.20.31.251 \
--mysql-port=3306 \
--mysql-db=sbtest \
--mysql-user=test_db \
--mysql-password=xxx cleanup

結果分析：p95 latency = 69.29ms

結果分析

• p95 latency 平均在 60～70ms